transformers==4.44.0 是否有问题？

mingyue0094 commented 3 months ago

System Info / 系統信息

win10

再用的是 transformers==4.40.0 正常使用。

看到 https://github.com/THUDM/GLM-4/blob/main/basic_demo/requirements.txt 里面显示 transformers==4.44.0

猜测，可能最新版本解决了“不兼容”，同时运行速度会更快了。然后安装 transformers==4.44.0 后会出现下面的错误。

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

[ ] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

transformers==4.44.0 后，错误提示如下。

    |   File "G:\2023\4\chatGlB-6b\ChatGLM3\.env\lib\site-packages\torch\utils\_contextlib.py", line 35, in generator_context
    |     response = gen.send(None)
    |   File "C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\glm-4-9b-chat\modeling_chatglm.py", line 1081, in stream_generate
    |     logits_processor = self._get_logits_processor(
    |   File "G:\2023\4\chatGlB-6b\ChatGLM3\.env\lib\site-packages\transformers\generation\utils.py", line 866, in _get_logits_processor
    |     and generation_config._eos_token_tensor is not None
    | AttributeError: 'GenerationConfig' object has no attribute '_eos_token_tensor'

Expected behavior / 期待表现

是需要更新模型文件吗？还是固定transformers到可用的版本？谢谢

mingyue0094 commented 3 months ago

试过，把旧版本transformers自动生成的 C:\Users\Administrator\.cache\huggingface\modules\transformers_modules 文件夹删除，然后让最新的transformers载入模型时自动生成。还是会显示同样报错。

zRzRzRzRzRzRzR commented 3 months ago

更新模型文件，环境重新装，不要混用GLM3的

mingyue0094 commented 3 months ago

更新模型文件，环境重新装，不要混用GLM3的

找到原因了。模型文件 + 调用模型的文件 + transformers版本以及其他模块。需要配套对应。

我调用模型的文件是修改的流式 hf 版本的，不是原版，原版是vllm . 所以，如果用最新 transformers==4.44.0 除更新模型和环境依赖还需要另外在修改调用模型的文件。 2个版本，流式格式调用的方法不一样。我修改后，发现速度还没原来的快。。。

结局- 退回旧版了。

angelala00 commented 3 weeks ago

更新模型文件，环境重新装，不要混用GLM3的

找到原因了。模型文件 + 调用模型的文件 + transformers版本以及其他模块。需要配套对应。

我调用模型的文件是修改的流式 hf 版本的，不是原版，原版是vllm . 所以，如果用最新 transformers==4.44.0 除更新模型和环境依赖还需要另外在修改调用模型的文件。 2个版本，流式格式调用的方法不一样。我修改后，发现速度还没原来的快。。。

结局- 退回旧版了。

我也遇到相同的问题了，似乎也定位到流式请求方式调用方法有问题，但是没找到怎么修改的，能否请教给个思路

THUDM / GLM-4