Closed zwshan closed 1 year ago
up主您好,如果我想要把您仓库的代码进行扩充,令其可以实现 LSTM 神经网络的量化,并且想把量化后的 LSTM 层放到 GPU 上进行推理加速。 在技术上这是否是可行的呢?如果可行的话,up 您可以大致分享以下实现路线吗?我也想为您的项目添砖加瓦
感谢你对量化感兴趣,LSTM一般是拆分成小算子做量化,而且量化方案比较敏感,目前大家的做法也都不太一样。我有机会会添加支持的。
up主您好,如果我想要把您仓库的代码进行扩充,令其可以实现 LSTM 神经网络的量化,并且想把量化后的 LSTM 层放到 GPU 上进行推理加速。 在技术上这是否是可行的呢?如果可行的话,up 您可以大致分享以下实现路线吗?我也想为您的项目添砖加瓦