search

bilibili / Index-1.9B

A SOTA lightweight multilingual LLM
Apache License 2.0
902 stars 48 forks source link

请问有计划开源退火开始前的base模型吗？ #18

Closed jyweky closed 4 months ago

jyweky commented 4 months ago

请问有计划开源退火开始前的base模型吗？ 我想在 WSD 的退火阶段追加下游高质量数据和定制的SFT数据。 如果连同退火阶段的预训练数据也开源就更好了（用来混合定制数据一起退火）🙏

asirgogogo commented 4 months ago

已开源退火前的base模型：https://huggingface.co/IndexTeam/Index-1.9B-Constant-LR

jyweky commented 4 months ago

非常感谢🎉