search

01-ai / Yi-1.5

Yi-1.5 is an upgraded version of Yi, delivering stronger performance in coding, math, reasoning, and instruction-following capability.
Apache License 2.0
497 stars 28 forks source link

关于微调格式的询问 #31

Open ryx103 opened 3 months ago

ryx103 commented 3 months ago

您好，感谢您们优秀的工作。我想请问关于微调Yi-1.5-34B有没有输入格式上的要求？ 我在Yi-01 finetuning demo数据中看到一些特殊tag（https://github.com/01-ai/Yi/blob/main/finetune/yi_example_dataset/data/train.jsonl 如果想更好地微调Yi-1.5,我的数据是否应该遵循Yi-01 demo里面的格式呢？ 感谢回答

Haijian06 commented 3 months ago

你好感谢肯定😊，是的微调的时候需要遵守Yi模型微调的格式，但现在其实不用这么复杂，你可以参考https://github.com/01-ai/Yi-1.5?tab=readme-ov-file#fine-tuning 里面的提及的微调框架，使用这些微调框架会自动转换成该模型需要的数据集格式。

nuoma commented 3 months ago

你好ryx103，

您提到的‘数据中的特殊tag’并不是必要的，实际上要看训练代码对于数据集是如何进行处理的。比如针对于'chosen'的处理： https://github.com/01-ai/Yi/blob/11d140d641d18e1190caad2d5170da3b76c9e4f6/finetune/utils/data/raw_datasets.py#L24

当然了，我们提供的finetune并没有持续的维护。在现在这个时间点，很多的训练框架都更新/维护的非常好，比如 https://github.com/hiyouga/LLaMA-Factory 。一般来说，SFT数据集会采用ShareGPT格式是更加通用的做法。

希望这能解答你的疑惑 :-)