search

yangjianxin1 / Firefly

Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
5.67k stars 513 forks source link

兄弟们 stop_token 有什么用呀 #252

Open Kenneth0901 opened 4 months ago

Kenneth0901 commented 4 months ago

image 为啥这个地方human和assistant要加这个，stop_token按我的理解 是在sampling策略中识别到立马截断的吗？那在这个地方加上干啥

Chris-Mraz commented 1 month ago

这里只能有human和assistant这两个字段吗，不能有system字段吗

Chris-Mraz commented 1 month ago

image 为啥这个地方human和assistant要加这个，stop_token按我的理解 是在sampling策略中识别到立马截断的吗？那在这个地方加上干啥

Assistant的部分是参与loss计算的，我的理解是，这里的stop_token和其他模型的stop_token（如）是一样的，都是模型预测的结尾