search

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。
350 stars 46 forks source link

模型修改问题 #5

Closed ZRC77 closed 1 year ago

ZRC77 commented 1 year ago

我想利用这个框架训练其他的模型比如vicuna13b 这类的我该怎么修改文件 ？

shuxueslpi commented 1 year ago

应该只需要修改对应的数据处理部分，对应train_qlora.py里的tokenizer_func和DataCollatorForChatGLM这两部分，训练主流程里的qlora配置应该不用动的。