You: bug GLM-4:The attention mask is not set and cannot be inferred from input because pad token is same as eos token.As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.

[2662007798]

System Info / 系統信息

这是什么问题，我环境pip install的 basic_demo 的 requirements.txt文件 所有均不能执行都显示这个

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [X] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1、拉下来代码 2、pip install basic_demo 的 requirements.txt文件 3、随意执行一个cli_demo

Expected behavior / 期待表现

如何解决？

[zRzRzRzRzRzRzR]

这个是警告吧，不用解决，是正常的

[5244DragonLin]

这个是警告吧，不用解决，是正常的

同样的错误，项目直接崩掉，无法正常运行，完整报错如下：

(chatglm) super@super-PowerEdge-R750:~/GLM-4/basic_demo$ python trans_cli_demo.py Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:00<00:00, 16.32it/s] Welcome to the GLM-4-9B CLI chat. Type your messages below.

You: hello GLM-4:The attention mask is not set and cannot be inferred from input because pad token is same as eos token. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results. Exception in thread Thread-2 (generate):

Traceback (most recent call last): File "/home/super/.conda/envs/chatglm/lib/python3.10/threading.py", line 1016, in _bootstrap_inner self.run() File "/home/super/.conda/envs/chatglm/lib/python3.10/threading.py", line 953, in run self._target(*self._args, *self._kwargs) File "/home/super/.conda/envs/chatglm/lib/python3.10/site-packages/torch/utils/_contextlib.py", line 116, in decorate_context return func(args, **kwargs) File "/home/super/.conda/envs/chatglm/lib/python3.10/site-packages/transformers/generation/utils.py", line 2024, in generate result = self._sample( File "/home/super/.conda/envs/chatglm/lib/python3.10/site-packages/transformers/generation/utils.py", line 3032, in _sample model_kwargs = self._update_model_kwargs_for_generation( File "/home/super/.cache/huggingface/modules/transformers_modules/glm-4-9b-chat/modeling_chatglm.py", line 930, in _update_model_kwargs_for_generation cache_name, cache = self._extract_past_from_model_output( TypeError: GenerationMixin._extract_past_from_model_output() got an unexpected keyword argument 'standardize_cache_format' Traceback (most recent call last): File "/home/super/GLM-4/basic_demo/trans_cli_demo.py", line 112, in for new_token in streamer: File "/home/super/.conda/envs/chatglm/lib/python3.10/site-packages/transformers/generation/streamers.py", line 223, in next value = self.text_queue.get(timeout=self.timeout) File "/home/super/.conda/envs/chatglm/lib/python3.10/queue.py", line 179, in get raise Empty _queue.Empty

[hongchangliu]

和楼上遇到了同样的问题

[zRzRzRzRzRzRzR]

哦这错误是你的设备估计是驱动没跟上 不是因为那个警告

[github593687459]

一样的报错按照，我环境pip install的 basic_demo 的 requirements.txt文件 所有均不能执行都显示这个

[zRzRzRzRzRzRzR]

这不是python的问题，这是cuda的问题了吧 我测试的cuda版本12.4 A100

[5244DragonLin]

这不是python的问题，这是cuda的问题了吧 我测试的cuda版本12.4 A100

请问能否提供一下您测试的Python版本、NVIDIA驱动版本、CUDA版本和CUDNN版本，我好复现一下，看看是哪里的问题

[YHX2010]

我用 Mac，MPS也有这个 Bug……

[YHX2010]

（反正就是提示attention_mask巴拉巴拉的，然后整了个_queue.Empty） 更新了也没用，错误照样报………（我都有点怀疑是 Transformers 的 Bug 了）

[zRzRzRzRzRzRzR]

这不是python的问题，这是cuda的问题了吧 我测试的cuda版本12.4 A100

请问能否提供一下您测试的Python版本、NVIDIA驱动版本、CUDA版本和CUDNN版本，我好复现一下，看看是哪里的问题

3.12 545驱动 cuda 12.2 cudnn nvidia-cudnn-cu12-8.9.2.26

[gufushan]

降低版本 ， 我也是同样问题， 使用 transformers==4.42.4 就可以正常运行了

[zRzRzRzRzRzRzR]

下周开始，我们会升级到4.44.0以上的支持

[5244DragonLin]

降低版本 ， 我也是同样问题， 使用 transformers==4.42.4 就可以正常运行了

感谢，已经正常运行

[YuanKyL]

为什么运行只占用CPU，GPU资源没有变化呢

[github593687459]

降低版本 ， 我也是同样问题， 使用 transformers==4.42.4 就可以正常运行了

降低版本依然不行，我无论是4.44还是4.42.4都不行一样的报警

[zRzRzRzRzRzRzR]

更新模型代码了吗

[github593687459]

git pull过了

更新模型代码了吗

[adrianlx]

同样遇到这个问题