search

sunzeyeah / RLHF

Implementation of Chinese ChatGPT
283 stars 35 forks source link

请问支持lora方式吗 #19

Closed 70557dzqc closed 1 year ago

70557dzqc commented 1 year ago

先用lora方式训练一个以chatglm为基础的小lora模型，然后第二步和第三步优化这个小lora模型，能实现这个吗

sunzeyeah commented 1 year ago

目前sft和reward的训练已支持LoRA，RLHF的LoRA也计划近期加上