Open wangqiangneu opened 5 years ago
加速RNN,基本思路是把heavy的matmul放到recurrent的外面,类似Transformer,一个序列的所有词同时做matmul,而recurrent时只涉及element-wise的一些op,所以会快
matmul
element-wise
简介
加速RNN,基本思路是把heavy的
matmul
放到recurrent的外面,类似Transformer,一个序列的所有词同时做matmul
,而recurrent时只涉及element-wise
的一些op,所以会快论文信息
总结