AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'

[guiniao]

问题描述 / Problem Description 用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.

复现问题的步骤 / Steps to Reproduce

1. 执行 '...' / Run '...'
2. 点击 '...' / Click '...'
3. 滚动到 '...' / Scroll to '...'
4. 问题出现 / Problem occurs

预期的结果 / Expected Result 描述应该出现的结果 / Describe the expected result.

实际结果 / Actual Result 描述实际发生的结果 / Describe the actual result.

环境信息 / Environment Information

• langchain-ChatGLM 版本/commit 号：(例如：v2.0.1 或 commit 123456) / langchain-ChatGLM version/commit number: (e.g., v2.0.1 or commit 123456)
• 是否使用 Docker 部署（是/否）：是 / Is Docker deployment used (yes/no): yes
• 使用的模型（ChatGLM2-6B / Qwen-7B 等）：ChatGLM-6B / Model used (ChatGLM2-6B / Qwen-7B, etc.): ChatGLM2-6B
• 使用的 Embedding 模型（moka-ai/m3e-base 等）：moka-ai/m3e-base / Embedding model used (moka-ai/m3e-base, etc.): moka-ai/m3e-base
• 使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss / Vector library used (faiss, milvus, pg_vector, etc.): faiss
• 操作系统及版本 / Operating system and version:
• Python 版本 / Python version:
• 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue.

问题描述： 执行python startup.py -a 报错，AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'

环境信息： python：3.8 transformer：4.34 torch：2.0 llm：chatglm2b vector：m3e-base

我看网上说要transformer4.33.2可以解决这个问题，但是requirements.txt中要求transformer>=4.34，请问大家遇到过这个问题吗

[hljpeter]

tokenization_chatglm.py 老版本 和transformer4.33.2不兼容。 chatglm已经更新最新的文件到 huggingface，更新下这个文件再尝试下

[guiniao]

@hljpeter ，这个文件更新下，transformers版本再升到4.34以后的版本吗

[guiniao]

@hljpeter ，我启动程序，python startup.py -a，报错，说找不到webui.py 版本是chat0.2.7，transformers的版本是4.33.2

[zRzRzRzRzRzRzR]

更新到最新的Transformers和chatglm权重文件

[tyzhong]

tokenization_chatglm.py 老版本 和transformer4.33.2不兼容。 chatglm已经更新最新的文件到 huggingface，更新下这个文件再尝试下

实测可行 大佬NB~