buaabai / Ternary-Weights-Network

Ternay-Weights-Network/Pytorch
35 stars 12 forks source link

请问, 论文中的forward 和 backward过程中量化,但是参数更新不量化,是怎么实现的啊? #4

Open linklist2 opened 2 years ago

linklist2 commented 2 years ago

image 您好,在论文中说到,正如XNOR-Net一样,forward 和 backward过程中量化,但是参数更新不量化,这个过程您是怎么实现的呢?

buaabai commented 2 years ago

更新的还是浮点形式的模型参数,只不过推理的时候先量化参数在计算,反传的时候再实现量化函数的反传函数就行。