godweiyang / godweiyang.github.io

Star & fork my blog source code!
https://github.com/godweiyang/hexo-matery-modified
18 stars 12 forks source link

只用两行代码,我让Transformer推理加速了50倍 | 韦阳的博客 #242

Open godweiyang opened 3 years ago

godweiyang commented 3 years ago

https://godweiyang.com/2021/04/13/lightseq-python-usage/

最近有学妹问我,我训了一个Transformer模型,但是预测好慢啊,有啥解决方案吗? 我心想,你又想好,又想快,咋不上天🚀呢?

于是我跟她说,你可以试试lightseq啊,跟闪电⚡️一样快,用了你就可以上天了。 她一脸懵比,light