search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.42k stars 296 forks source link

sft dataset #28

Open paopao0226 opened 11 months ago

paopao0226 commented 11 months ago

请问sft dataset是用的哪个呢？有无地址

DLLXW commented 11 months ago

请问sft dataset是用的哪个呢？有无地址

README里面给出了地址，bell、apacha-zh，自行处理

Vincent-ZHQ commented 11 months ago

通过作者给的bell、apacha-zh链接下载，然后运行data_process.py内部的sft_process，就可以获得sft_data.csv了