train_sft.py的process_supervised和infer.py两边的预处理逻辑不一致

[baibaiw5]

train_sft.py的process_supervised函数，对输入数据没有加prompt

infer.py推理时反而增加了prompt,两边不一致？

[i4never]

Hi，实际训练时我们在数据里加了prompt token。由于sft存在多轮数据，训练代码不知道合理的特殊token位置，因此在数据中添加更合理。dev_sft的数据已经更新，感谢您指出这个问题。