Wixee / SecureBiNN

7 stars 3 forks source link

Why is the first layer of the network not binarized? #4

Closed myDumbo closed 1 year ago

myDumbo commented 1 year ago

请问一下,为什么模型的第一层(例如A网络的第一层是dense,B和C网络的第一层是卷积层)都并没有二值化操作?

Wixee commented 1 year ago

在文章3.2 Parameters Encoding中提到过,SecureBiNN方案中输入层和输出层使用的是标准的定点数编码方案,即把浮点数变成 uint16或uint 32 编码的定点数,其它的隐藏层是二值化的。理论上来说用uint 8也没问题,但是实际太容易发生溢出。 据我个人观察,(这是一个不谨慎的言论!)如果对输入层和输出层二值化,貌似对accuracy影响比较大。

myDumbo commented 1 year ago

理解了,感谢回答