qwen2-1.5微调训练后tokenizer_config.json中的chat_template值被改了

hiyouga / LLaMA-Factory

Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

https://arxiv.org/abs/2403.13372

Apache License 2.0

34.45k stars 4.25k forks source link

Closed czhcc closed 1 month ago

czhcc commented 2 months ago

llamafactory 版本是0.8.3， python版本3.10

使用例子中的yaml文件参数

qwen2-1.5微调训练后tokenizer_config.json中的chat_template值被改了。是有什么参数可以指定不改变chat_template的值吗？

No response

codemayq commented 1 month ago

我们会对template 做一些统一处理，目前没有参数控制不处理，你可以把原版本的 tokenizer 相关文件复制覆盖过来即可。

czhcc commented 1 month ago

好的，多谢