Deepseek SFT数据包含system应该如何处理？

deepseek-ai / DeepSeek-LLM

DeepSeek LLM: Let there be answers

https://chat.deepseek.com/

MIT License

1.33k stars 87 forks source link

Deepseek SFT数据包含system应该如何处理？ #41

Closed xiatingyu closed 4 months ago

xiatingyu commented 4 months ago

你好，请问如果我的SFT数据里面有system，那么我的模型输入应该是什么样的呢？我用的LLama_factory做Deepseek的SFT，模型input是这样的：

<｜begin▁of▁sentence｜>You are a helpful assistant.User: Query

Assistant: RESPONSE<｜end▁of▁sentence｜>User: Query

Assistant: RESPONSE<｜end▁of▁sentence｜>

不知道这样处理system是否合适？

DeepSeekPH commented 4 months ago

你的处理方式没问题