search

clue-ai / ChatYuan

ChatYuan: Large Language Model for Dialogue in Chinese and English
https://www.clueai.cn
Other
1.9k stars 183 forks source link

[finetune] 请问下如果从t5模型微调训练出ChatYuan-large-v1模型 #44

Closed Tian14267 closed 1 year ago

Tian14267 commented 1 year ago

大神们好，我想咨询一下，如何从t5模型（如t5-large），微调训练出你们的ChatYuan-large-v1和ChatYuan-large-v2模型？我直接替换预训练模型为原始的t5模型，训练出的结果都是乱码。请问能否指点一下啊

joytianya commented 1 year ago

ChatYuan-large-v1和ChatYuan-large-v2 元语智能基于t5架构重0训练的模型，不是google发布的t5模型

Tian14267 commented 1 year ago

ChatYuan-large-v1和ChatYuan-large-v2 元语智能基于t5架构重0训练的模型，不是google发布的t5模型

相应的预训练模型也是重新训练的嘛？请问这个你们有开源吗，能学习一下吗

joytianya commented 1 year ago

是的，这个可以参考google t5（他们写的很详细了）, 在readme里也有相应的链接