-
### System Info
transformers==4.38.1
python==3.9
### Who can help?
_No response_
### Information
- [ ] The official example scripts
- [X] My own modified scripts
### Tasks
- [ ] An officially …
-
不设置load_in_8bit时, chatglm2-6B加载后是12.4GB左右,符合预期,因为原始模型是fp16精度保存的。所以6.2*4/2 =12.4GB,符合。
但是load_in_8bit 开启,模型加载完还是12.4GB显存。这是load_in_8bit没起作用吗?
还是说load in 8bit 对训练不生效?
-
**问题描述 / Problem Description**
qwen本地部署的模型对话不会停止,会自问自答,当对话输出长的时候会出现。
我手动加上stop停止词["","",""]后,似乎修复了,我再观察一下
**预期的结果 / Expected Result**
对话正常停止
**环境信息 / Environment Information**
- 0.2.7 dev分支
…
-
### What happened?
I'm able to compile the pytorch model into mlir & then convert the mlir model into vmfb file:
I used this code for compilation : https://gist.github.com/manishghop/55c741b5734b6f3…
-
运行单卡 ChatGLM2的时候,报这个错
**报错 “AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'”**
问题解决,去ChatGLM2源码里面更新一下这个文件[tokenization_chatglm.py](https://huggingface.co/THUDM/chatglm2-6b/blo…
-
**问题描述 / Problem Description**
用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
询问一个问题后,他会自动的在答案后面加上…… ,然后继续回答生成的这个问题。
**复现问题的步骤 / Steps to Reproduce**
1. 执行 '...' / Run '...…
-
**问题描述 / Problem Description**
启动python startup.py -a 时出错
Process WEBUI Server:
Traceback (most recent call last):
File "C:\Program Files\Python38\lib\multiprocessing\process.py", line 315, in _…
-
**问题描述 / Problem Description**
python init_database.py --recreate-vs时报错
第一个问题:
(MaxRetryError('HTTPSConnectionPool(host=\'huggingface.co\', port=443): Max retries exceeded with url: /None/resolve…
-
**Environment information**
- LLM type and model name:chatglm2-6b
- System version:win11
- Python version: 3.10.13
- installation method: pip install -e .
**Configuration**
~/.metagp…
-
**问题描述 / Problem Description**
选择对话,对话模式为自定义Agent问答,LLM模型为 chatglm3-6b。在kb_config.py中已配置好 SENIVERSE_API_KEY。
**复现问题的步骤 / Steps to Reproduce**
询问:今天北京的天气
**预期的结果 / Expected Result**
应该正常返回北京的天…