inisis / brocolli

Everything in Torch Fx
MIT License
341 stars 63 forks source link

关于仓库量化能力扩充(LSTM 的询问) #55

Closed zwshan closed 1 year ago

zwshan commented 1 year ago

up主您好,如果我想要把您仓库的代码进行扩充,令其可以实现 LSTM 神经网络的量化,并且想把量化后的 LSTM 层放到 GPU 上进行推理加速。 在技术上这是否是可行的呢?如果可行的话,up 您可以大致分享以下实现路线吗?我也想为您的项目添砖加瓦

inisis commented 1 year ago

感谢你对量化感兴趣,LSTM一般是拆分成小算子做量化,而且量化方案比较敏感,目前大家的做法也都不太一样。我有机会会添加支持的。