dandelionsllm / pandallm

Panda项目是于2023年5月启动的开源海外中文大语言模型项目,致力于大模型时代探索整个技术栈,旨在推动中文自然语言处理领域的创新和合作。
Apache License 2.0
1.06k stars 91 forks source link

linly预训练阶段和panda类似,指令微调阶段使用了500万条,为什么效果比panda差? #20

Closed mellivoraPKU closed 1 year ago

mellivoraPKU commented 1 year ago

是因为你们对比的是linly的基础模型,而不是他们经过指令微调的linly-chatflow吗?7b

SparkJiao commented 1 year ago

是的,在测试时他们使用instruction tuning的HF权重并没有放出来(但是放出了Tencent Pretrain权重),所以没有评测,我们在README里已经说明了。

之后会连同MOSS,ChatGLM,包括BELLE最好的模型一起补测。