Closed jarork closed 3 years ago
我理解如果把Attention简化成乘性,可以减轻一些复杂度,求教在设计的时候这里是怎么考虑的呢?谢谢
简化模型可能会带来性能下降,请自行尝试
我理解如果把Attention简化成乘性,可以减轻一些复杂度,求教在设计的时候这里是怎么考虑的呢?谢谢