想要提升解码速度

ZhengkunTian / OpenTransformer

A No-Recurrence Sequence-to-Sequence Model for Speech Recognition

MIT License

372 stars 66 forks source link

想要提升解码速度 #23

Closed nangongmujd closed 3 years ago

nangongmujd commented 3 years ago

想要保证精度的情况下进一步提升解码速度,请问有什么建议吗?

ZhengkunTian commented 3 years ago

解码过程中存在一些冗余计算，可以通过缓存这部分来提升速度。现在的速度基本上就是并行速度上限了，再提升可以考虑模型量化，或者使用C++对这部分进行重写。

nangongmujd commented 3 years ago

好的，谢谢！------------------ 原始邮件 ------------------ 发件人: "ZhengkunTian"<notifications@github.com> 发送时间: 2020年12月18日(星期五) 晚上9:21 收件人: "ZhengkunTian/OpenTransformer"<OpenTransformer@noreply.github.com>; 抄送: "nangongmujd"<201383353@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [ZhengkunTian/OpenTransformer] 想要提升解码速度 (#23)