search

jingyaogong / minimind

「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！
https://jingyaogong.github.io/minimind
Apache License 2.0
2.7k stars 329 forks source link

修正了训练tokenizer中的chat_template中的逻辑,以及修正了tokenizer_config.json相应部分 #86

Open Singularity-M opened 1 week ago

Singularity-M commented 1 week ago

发现训练出来的tokenizer中的chat_template逻辑上有点问题以及没有实现add_generation_prompt的功能