-
No module named 'transformers_modules.THUDM/chatglm-6b'
-
你好，我尝试将GOT-OCR导出为onnx，但是遭遇了如下错误：
`AttributeError: 'GOT' object has no attribute 'image_start_id'`
我仔细查看后，发现GOT类和LLM类里都没有初始化`self.image_start_id`，翻看了相应的config.json文件，也没有image_start_id参数，只有一个image_sta…
-
我只是修改了constant_map.py最后为train_model_config = train_info_models['chatglm2-6b-32k-int4']
'chatglm2-6b-32k-int4': {
'model_type': 'chatglm2',
'model_name_or_path': '/data/ChatG…
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
在使用调用api时候
from transformers import AutoTokenizer, AutoModel
# tokenizer = AutoTokenizer.fr…
-
执行后加载模型报错
(chatglm_openapi_api) root@lab:/data/app/chatglm-openai-api# python main.py --port 8080 --llm_model chatglm-6b-int4 --embeddings_model text2vec-large-chinese --tunnel ngrok
>> Use chatg…
-
我使用的是NVIDIA 4070 8G的显卡，chatglm-6b-int4-hf模型是可以跑的，但是从fp16转换到int4的fastllm模型之后，使用./main测试，直接卡了20分钟也没出结果。
模型转换代码：
```
from fastllm_pytools import llm
tokenizer = AutoTokenizer.from_pretrained("/LLM_…
-
针对你是谁finetune，输出还是原模型的回答，新finetune的pt模型加载没有问题吧，如下：
tokenizer = AutoTokenizer.from_pretrained("ChatGLM-6B/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("ChatGLM-6B/chatglm-6b…
-
作者您好！当我在前端输入框输入文本后，ChatGLM-6B模型推理时存在下面的问题：
INFO: Application startup complete.
INFO: 127.0.0.1:33704 - "OPTIONS / HTTP/1.1" 200 OK
Start generating...
The dtype of attention mask (torch.…
-
https://github.com/THUDM/ChatGLM-6B
https://huggingface.co/THUDM/chatglm-6b-int4
It would be best if you could provide some guidance. Thank you.
-
sh train_multi_gpu.py之后，控制台出现WARING后无其他信息，几秒后直接跳出。这个是什么原因呢？
root@pt_exp://data/chatglm/chatglm-6B/fine_tuning# sh train_multi_gpu.sh
[09:32:06] WARNING The following values were not passed to `a…