Open pangsg opened 2 years ago
好的,谢谢,那能适配分布式训练吗,在分布式训练的基础上会有速度的提升吗
适配分布式训练指的是训练的时候使用EET吗? 这个不行,EET是一个推理引擎,不支持反向传播。
好的,谢谢!
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Random @.> 发送时间: 2022年8月11日 14:27 收件人: NetEase-FuXi/EET @.> 抄送: nlp-pang @.>, Author @.> 主题: Re: [NetEase-FuXi/EET] 请问能在megatron基础上使用吗 (Issue #9)
nv的megatron-lm训练框架我们没有适配,目前是适配了fairseq和transformers,如果是megatron-lm的训练框架,需要进行模型转换。