search

QwenLM / Qwen2.5-Coder

Qwen2.5-Coder is the code version of Qwen2.5, the large language model series developed by Qwen team, Alibaba Cloud.
3.1k stars 210 forks source link

FIM的训练数据格式 #80

Closed mechigonft closed 5 months ago

mechigonft commented 5 months ago

codeQwen是非常伟大的工作，感谢开发团队的付出！ 想要对Base模型的FIM推理方式进行微调，微调训练的数据格式是怎么样的？输入是类似于推理阶段的fim标签的拼接吗？输出是期望生成的代码段内容？

cyente commented 5 months ago

是的，您可以使用类似于推理阶段的fim标签的拼接。比较简单有效的方法，我们建议，先不要拼接任何chat format格式，直接将plain text作为输入。

mechigonft commented 5 months ago

感谢回复，我想进一步了解下：你指的“先不要拼接任何chat format格式”是指的llama Factory上面的template字段，训练模板吗？如果是base模型，我好像可以直接指定template为default吧？ image

mechigonft commented 5 months ago

image default的训练模板好像并不太对，因为会加上Human、Assistant等信息

cyente commented 5 months ago

是的建议，先不要增加这些模版，可能会降低训练难度。更丰富的训练策略，我们正在探索中