NetEase-FuXi / EET

Easy and Efficient Transformer : Scalable Inference Solution For Large NLP model
Apache License 2.0
261 stars 46 forks source link

请问能在megatron基础上使用吗 #9

Open pangsg opened 2 years ago

GongZhengLi commented 2 years ago

nv的megatron-lm训练框架我们没有适配,目前是适配了fairseq和transformers,如果是megatron-lm的训练框架,需要进行模型转换。

pangsg commented 2 years ago

好的,谢谢,那能适配分布式训练吗,在分布式训练的基础上会有速度的提升吗

GongZhengLi commented 2 years ago

适配分布式训练指的是训练的时候使用EET吗? 这个不行,EET是一个推理引擎,不支持反向传播。

pangsg commented 2 years ago

好的,谢谢!

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: Random @.> 发送时间: 2022年8月11日 14:27 收件人: NetEase-FuXi/EET @.> 抄送: nlp-pang @.>, Author @.> 主题: Re: [NetEase-FuXi/EET] 请问能在megatron基础上使用吗 (Issue #9)