search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.47k stars 305 forks source link

c4-zh数据有问题 #67

Closed yasohasakii closed 5 months ago

yasohasakii commented 5 months ago

网盘上的数据缺失了两个（三部分加起来只有94个，缺失了28和75），下载后用tar解压.jsonl.zst文件提示错误

maoxiangyi commented 5 months ago

确实缺两个文件

maoxiangyi commented 5 months ago

zst文件解压，需要用zstd解压 yum install zstd unzstd file.zst

yasohasakii commented 5 months ago

zst文件解压，需要用zstd解压 yum install zstd unzstd file.zst

好的，谢谢！