-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
使用4bit量化模型进行全参数微调,使用evaluate_finetune.sh脚本加载相应的checkpoint路径时报告错误。
### Expected Behavior
_No…
-
chatglm2 will report an error on the latest version branch
![image](https://github.com/triton-inference-server/tensorrtllm_backend/assets/58454582/2a04b956-81da-4d6b-acb3-63f97969bd53)
-
您好,我有一些文件想构造指令数据来微调chatglm模型,构造类似QA的**指令**数据,不是构造对话数据,是不是就把下面这个his改一下?
https://github.com/threeColorFr/LLMforDialogDataGenerate/blob/36bad9b74e6b447a446752793617c6efceb04d74/doc2conv_chatglm2/batch_c…
-
训1没问题,训2总是报错:assert vocab_file is not None
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
用自己的数据跑ptuning微调 ChatGLM2-6B/ptuning# sh train.sh ,发现单机多卡的问题
![31dbd098aa7654c5a70158f012ac5…
-
**chatglm2-6b使用fastllm通过README,有如下两种方式:**
**方式一:**
```
# 这是原来的程序,通过huggingface接口创建模型
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatgl…
-
你好 博主!
我使用lora进行微调ChatGLM2-6B会出现这样的错误
但是使用ptuning不会,你知道是什么原因吗,求解。
![image](https://github.com/beyondguo/LLM-Tuning/assets/131762142/0cc218ad-7f5a-452b-9e28-10b6c8485045)
-
```
Activate offline environment
Start app.py
--------------------Collect environment info--------------------
sys.platform: win32
Python: 3.10.10 (tags/v3.10.10:aad5f6a, Feb 7 2023, 17:20:36) […
-
Hi YuYang,
Congratulations on your great work! It would be really nice if you can upload the model to Hugging Face hub.
This would help model discovery and integration with tools.
For examp…
-
求问ChatGLM2-6B,我用数据集微调后,使用adapter推理成功了,但是merge之后使用官方cli_demo会直接Loading checkpoint shards: 0%| Killed,看了一下fp32合并后的模型有23.2G,换成fp16后的模型为11.6G,但是同样会出现killed问题。
训练配置:
```
{
"output_dir": "saved_fi…