search

OpenBMB / MiniCPM

MiniCPM-2B: An end-side LLM outperforming Llama2-13B.
Apache License 2.0
4.38k stars 313 forks source link

[Bad Case]: 使用tokenizer.apply_chat_template数据时，数据结尾没有添加"</s>"，但是我看模型special文件中显示"eos_token"是"</s>"。 #149

Closed mst272 closed 1 week ago

mst272 commented 3 weeks ago

Description / 描述

使用tokenizer.apply_chat_template数据时，数据结尾没有添加</ s >，但是我看模型special文件中显示"eos_token"是</ s >。所以请问一下数据结尾不加eos_token是故意设置的吗？ 我使用的模型是MiniCPM-2B-dpo-bf16。

Case Explaination / 案例解释

No response

LDLINGLINGLING commented 1 week ago

你提到的是结束符，是一旦生成这个token就结束生成的作用，因此可以不再prompt里面添加，只是在生成对话的时候，如果生成了这个token，就必须被发现，否则模型不会停止