search

OpenMOSS / CoLLiE

Collaborative Training of Large Language Models in an Efficient Way
https://openlmlab-collie.readthedocs.io
Apache License 2.0
405 stars 58 forks source link

能否增加一个从头预训练的例子？ #151

Open liujuncn opened 7 months ago

liujuncn commented 7 months ago

例如从头训练一个1B的llama2架构的模型.

KaiLv69 commented 7 months ago

你好，我们会增加这样的例子但现在还不能保证时间。

目前应该可以用from_config加载模型，config里init_method可以指定参数初始化方法。然后开始训练。