search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.44k stars 300 forks source link

想问一下 为什么做数据清洗时保存数据为Parquet格式，后面做分词时候还是用的json #83

Open yangwenche opened 2 weeks ago