Closed jerrywyn closed 1 month ago
预训练数据主要用于补充原版llama3未包含的中文知识,这不一定会直接体现在当前这些下游任务上。
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.
Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.
提交前必须检查以下项目
问题类型
效果问题
基础模型
Llama-3-Chinese-8B(基座模型)
操作系统
None
详细描述问题
我观察到实验结果部分在中文数据集上llama-3-chinese-8B的性能和原版meta的llama3性能非常接近,性能较高的主要是instruct v3版本。这是否反映了使用llama-3-chinese-8B和使用meta的llama3来做中文数据集上的微调,两者的性能并不会相差很多?主要影响性能的因素是这里instruct微调的方法,而不是这里的基座模型?
依赖情况(代码类问题务必提供)
No response
运行日志或截图
No response