Closed StrayDragon closed 11 months ago
并没有复现这个报错,我看 Hugging Face 上 codegeex2-6b 的 tokenization_chatglm.py#L73,是有 self.tokenizer
这个成员的,可以检查一下你本地的 /home/l8ng/.cache/huggingface/modules/transformers_modules/codegeex2-6b/tokenization_chatglm.py
跟官方的代码是否有区别?
并没有复现这个报错,我看 Hugging Face 上 codegeex2-6b 的 tokenization_chatglm.py#L73,是有
self.tokenizer
这个成员的,可以检查一下你本地的/home/l8ng/.cache/huggingface/modules/transformers_modules/codegeex2-6b/tokenization_chatglm.py
跟官方的代码是否有区别?
嗯嗯 对比文件是一样的代码, 然后尝试降级下 transformers==4.33.3 (4.35.x, 4.34.x都不行) 后可以转换了... 问题应该不是这个, 可能是上游改了什么东西没来的及适配? 你看下你环境的版本是不是低于 4.34.x, 或许在README下标注下会好一些~
ref: https://github.com/chatchat-space/Langchain-Chatchat/issues/1835#issuecomment-1786711636
不管怎样, 这个问题暂时解决了, 谢谢作者回复哈~
vllm 0.2.2解决了https://github.com/vllm-project/vllm/issues/1713 这个问题 但是vllm-0.2.2要求transformers版本高于4.34.0 而像 @StrayDragon 所提transformers版本高于4.33.3就不可以了
感觉如果想要复现这个错误只需要把transformers升到最高版本(比如4.36.0
现在如果想用vllm加速推理chatglm2的话感觉还是得自己根据文档改一下,不知道是否后续有解决方案吗
刚刚发现chatglm3在5天前更新了tokenization_chatglm.py,替换掉原来下载的这个文件可以兼容高版本的transformers了。
刚刚发现chatglm3在5天前更新了tokenization_chatglm.py,替换掉原来下载的这个文件可以兼容高版本的transformers了。
cool, 感谢提醒, 我回去试试~
python 3.11 / Debian12
复现步骤 按照README做到
python3 chatglm_cpp/convert.py...
之前, 然后报错为
但是 chatglm3-6b 可以转换...