Ikaros-521
commented
11 months ago 更换为 glm2-6b-int4 或者 glm3-6b，倒是没有报错，但是会卡死在,无法访问webui
Fatal error in launcher: Unable to create process using '"E:\Langchain-Chatchat\Miniconda3\python.exe" "D:\Langchain-Chatchat\Miniconda3\Scripts\streamlit.exe" run webui.py --server.address 127.0.0.1 --server.port 8501 --theme.base light --theme.primaryColor #165dff --theme.secondaryBackgroundColor #f5f5f5 --theme.textColor #000000': ??????????? 'port': 20002}
{'api_key': '',
'device': 'auto',
'host': '127.0.0.1',
'infer_turbo': False,
'online_api': True,
'port': 21001,
'provider': 'ChatGLMWorker',
'version': 'chatglm_turbo',
'worker_class': <class 'server.model_workers.zhipu.ChatGLMWorker'>}
{'api_base_url': 'https://api.openai.com/v1',
'api_key': '',
'device': 'auto',
'host': '127.0.0.1',
'infer_turbo': False,
'model_name': 'gpt-3.5-turbo',
'online_api': True,
'openai_proxy': '',
'port': 20002}
当前Embbedings模型： m3e-base @ cuda
服务端运行信息：
OpenAI API Server: http://127.0.0.1:20000/v1
Chatchat API Server: http://127.0.0.1:7861
Chatchat WEBUI Server: http://127.0.0.1:8501
==============================Langchain-Chatchat Configuration==============================
zRzRzRzRzRzRzR
koitoyuu3
问题描述 / Problem Description chatglm3-6b-int4
AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'复现问题的步骤 / Steps to Reproduce 配置 chatglm3-6b-int4模型后，运行就复现了预期的结果 / Expected Result 正常加载运行
实际结果 / Actual Result
环境信息 / Environment Information
附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue.