search

LianjiaTech / BELLE

BELLE: Be Everyone's Large Language model Engine（开源中文对话大模型）
Apache License 2.0
7.95k stars 761 forks source link

BLOOMZ优化方式 #199

Closed nullgogo closed 1 year ago

nullgogo commented 1 year ago

BELLE7b是对BLOOMZ-7B1-mt的优化，是通过train/finetune.py的方式吗，是否可以介绍一下

另外，我如果用bloom3b进行优化，通过finetune的方式可行吗 @xianghuisun

xianghuisun commented 1 year ago

是的，而且是全量参数微调的