godweiyang / godweiyang.github.io

Star & fork my blog source code!
https://github.com/godweiyang/hexo-matery-modified
18 stars 12 forks source link

恕我直言,你们的模型训练都还不够快 | 韦阳的博客 #241

Open godweiyang opened 3 years ago

godweiyang commented 3 years ago

https://godweiyang.com/2021/06/26/params-cont/

周末在家没事干,也没人约了打游戏,于是打开了gayhub闲逛,哦不,是github。

然后发现了一个挺有意思的项目: 也就是将你模型中的参数全部存储为一个连续的内存块,加速你的模型训练。 于是我抱着试试看的心态,基于Fairseq和Lig