search

OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型
2.68k stars 211 forks source link

finetune结果模型只有13M #72

Open jiangliqin opened 1 year ago

jiangliqin commented 1 year ago

训练日志没有异常信息，但是最终cpm_bee_finetune-delta-best.pt只有13m

image
zh-zheng commented 1 year ago

因为使用了增量微调（--use-delta参数），只保存了LoRA的权重

jiangliqin commented 1 year ago

是的，text_generation.py有Lora使用说明，谢谢~

jiangliqin commented 1 year ago

请问是否支持多任务的finetune,讲数据构造成多任务的格式？

gongbaitao commented 1 year ago

您可以将每种任务设计一种数据格式，然后把所有任务的数据混合起来微调即可

fengcai24 commented 1 year ago

您可以将每种任务设计一种数据格式，然后把所有任务的数据混合起来微调即可

请问预训练脚本要用什么数据格式呢？