search

TencentARC / LLaMA-Pro

[ACL 2024] Progressive LLaMA with Block Expansion.
https://tencentarc.github.io/LLaMA-Pro/
Apache License 2.0
449 stars 34 forks source link

更大的模型需要更多的block吗？ #18

Open PoseidomWong opened 4 months ago

PoseidomWong commented 4 months ago

如果想把llama-pro应用到更大的模型中比如34B、72B，那么是否需要按比例增大block的数量？这方面的实验是否有做过呢？

hills-code commented 4 months ago

我们也在探索更大的模型，不过这样的实验很需要资源，目前为止我们探索了在不同架构，如mistral上的扩展，取得了一定的效果，如Mistral-Pro，后续我们也会进一步探索这方面的idea。我们发现yi也最近使用深度扩展进行了数学代码的训练，Yi-9B，他扩展了16层，我相信复制的位置，复制的层数，还是有很多值得研究的地方，我们会逐步研究的。