pretrain中的pretrain.sh并不是从头开始训练吧，是增量训练吧

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用

https://llama.family

14.01k stars 1.26k forks source link

Open zc-Chao opened 8 months ago

zc-Chao commented 8 months ago

我看脚本中提供了这个参数model_name_or_path，但是没有提供model_type参数，这是增量训练的设置呀！若是从头开始训练应该提供model_type而不提供model_name_or_path呀，有大佬解释下吗？

ZHangZHengEric commented 6 months ago

可以从头训练，调整一下she’ll脚本就可以