hiyouga / LLaMA-Factory

Unify Efficient Fine-Tuning of 100+ LLMs
Apache License 2.0
25.52k stars 3.16k forks source link

关于对话模板作用以及其在lm-evaluation-harness仓库下对评测效果影响的问题 #4618

Closed marvelcell closed 1 day ago

marvelcell commented 4 days ago

Reminder

System Info

None

Reproduction

None

Expected behavior

您好,想请问llama3和default模板在训练和推理过程中的机制是什么呢?

我在LLama-Factory中使用llama3 template微调llama3-8b-instruct,之后使用训练好的模型在lm-evaluation-harness仓库中评测,在评测过程中是没有指定template的这一步骤的,那么训练过程中使用的template是否会对评测效果产生影响呢?

提前感谢您的解答!

Others

No response