search

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.73k stars 440 forks source link

对chatglm2使用lora修改之后的提交 #265

Closed duyupeng closed 10 months ago

duyupeng commented 11 months ago

修改了模型载入的路径，因为不能直接在huggingface上使用模型，就从huggingface上下载了。 finetune.py修改了data_collator;tokenize_dataset_rows修改了函数preprocess chatglm2_test.py主要是训练了加入了lora后的chatglm2; chatglm_test.py主要是训练了加入lora后的chatglm; chatglm2_tuili.py主要是对训练后的chatglm2进行预测报错提示没有adapter_config.json这个文件

duyupeng commented 11 months ago

提交了新的修改对chatglm2的修改，通过训练，可以适配lora

duyupeng commented 10 months ago

01 修改了tokenize_dataset_rows.py 文件，增加了chatglm_path、version两个参数，可以选择要导入模型的版本。对preprocess进行了更新，可以选择执行chatglm和chatglm2的token的预处理。 02 修改了finetinue.py的文件，增加了chatglm_path参数，可以导入chatglm或chatglm2的不同模型path 03 修改了readme.md文件，新增了增加参数后，如何执行tokenization和训练时的脚本。

duyupeng commented 10 months ago

新修改了readme.md中的--chatglm_path导入模型的路径（可以选择chatglm或chatglm2的不同路径）、--version 模型的版本（v1指chatglm,v2指chatglm2）的参数说明