laekov / fastmoe

A fast MoE impl for PyTorch
https://fastmoe.ai
Apache License 2.0
1.56k stars 187 forks source link

您好,请问Megatron-LM的v2.2版本在哪里获取? #208

Closed tisgotos closed 1 month ago

tisgotos commented 1 month ago

您好,请问Megatron-LM的v2.2版本在哪里获取?关于megatron我只看见了v2.0和v2.5版本,请问v2.2版本在哪里获取?

laekov commented 1 month ago

https://github.com/laekov/fastmoe/blob/master/examples/megatron/fmoefy-v2.2.patch

tisgotos commented 1 month ago

https://github.com/laekov/fastmoe/blob/master/examples/megatron/fmoefy-v2.2.patch

我想我可能没理解fastmoe的使用步骤,我的理解是将fastmoe的源码克隆到Megatron-LM的目录下,然后再执行补丁文件,但是补丁文件是针对Megatron-LM的2.2版本的,我在Megatron-LM的tags中并未看见该版本,不知道我的理解是否正确? 请赐教,谢谢!

tisgotos commented 1 month ago

https://github.com/laekov/fastmoe/blob/master/examples/megatron/fmoefy-v2.2.patch

由于我刚接触此类模型,所以对此不太了解,如果您能更详细的告知我使用步骤,我将不胜感激

laekov commented 1 month ago

曾经有 v2.2 的 tag. 现在可能删了.

tisgotos commented 1 month ago

曾经有 v2.2 的 tag. 现在可能删了.

那如果使用2.5版本的话,我是否只需要执行v2.5patch补丁文件即可呢?

laekov commented 1 month ago

tisgotos commented 1 month ago

好的感谢