search

huawei-noah / AdderNet

Code for paper " AdderNet: Do We Really Need Multiplications in Deep Learning?"
BSD 3-Clause "New" or "Revised" License
952 stars 187 forks source link

加速版AdderNet #44

Open beiliu253 opened 3 years ago

beiliu253 commented 3 years ago

您好，请问一下加速版AdderNet什么时候可以发布？之前有人问过这个问题，但是现在好像还没有(或者我没有找到)。 目前想将AdderNet用于其他领域的一些任务，但是由于训练速度太慢和GPU显存占用太高，目前版本的AdderNet实际中几乎无法使用。

感谢🙏🙏

yiakwy commented 3 years ago

@beiliu253 可以自行编写 cuda kernel ，加分用reduce算法优化；梯度部分，可以使用推导出来的数值梯度。直接用portorch的python版本发论文，很没有诚意。