以Qwen2.5-Math为例(对DeepSeek-Math-7B同样适用),在SFT过程中使用的template对应的system prompt为:
system = 'You are Qwen, created by Alibaba Cloud. You are a helpful assistant.',
但Qwen2.5-Math官方repo推荐的inference时system prompt为:
{"role": "system", "content": "Please reason step by step, and put your final answer within \\boxed{}."},
在SFT阶段和Inference阶段使用不同的system prompt是否会对结果造成较大影响?因为Inference阶段使用不同的模板对Qwen2.5-Math-7B的性能指标影响巨大。
以Qwen2.5-Math为例(对DeepSeek-Math-7B同样适用),在SFT过程中使用的template对应的system prompt为:
system = 'You are Qwen, created by Alibaba Cloud. You are a helpful assistant.'
, 但Qwen2.5-Math官方repo推荐的inference时system prompt为:{"role": "system", "content": "Please reason step by step, and put your final answer within \\boxed{}."}
, 在SFT阶段和Inference阶段使用不同的system prompt是否会对结果造成较大影响?因为Inference阶段使用不同的模板对Qwen2.5-Math-7B的性能指标影响巨大。