Alibaba-Gemini-Lab / OpenCheetah

189 stars 48 forks source link

全连接层输入多个向量的计算 #20

Closed oahcnauygnid closed 1 year ago

oahcnauygnid commented 1 year ago

我看到有MatMul2D这样的函数,其调用里是循环调用cheetah_linear->fc(input_vector, weight_matrix, meta, out_vec)来处理多个向量的每一个,而按照论文,相同的w对应的多项式应该可以复用啊,这样是不是可以提升效率呢?还是说会有一定的安全性问题呢?

fionser commented 1 year ago

是的。对于 明文 weight matrix 是可以减少部分计算量的(如只需要 encode 一次)。主要目前 我们是采用SCI 作为前端;所以就没有做这个优化。