AMC: AutoML for Model Compression and Acceleration on Mobile Devices

[gaocegege]

AutoML自动模型压缩再升级，MIT韩松团队利用强化学习全面超越手工调参

“算力换算法”是当今AutoML系列工作的热点话题，AMC则属于“算力换算力”：用training时候的算力换取inference时候的算力。模型在完成一次训练之后，可能要在云上或移动端部署成千上万次，所以inference的速度和功耗至关重要。

我们用AutoML做一次性投入来优化模型的硬件效率，然后在inference的时候可以得到事半功倍的效果。比如AMC将MobileNet inference时的计算量从569M MACs降低到285M MACs，在Pixel-1手机上的速度由8.1fps提高到14.6fps，仅有0.1%的top-1准确率损失。AMC采用了合适的搜索空间，对压缩策略的搜索仅需要4个GPU hours。

总结来讲，AMC用“Training算力”换取“Inference算力”的同时减少的对“人力“的依赖。最后，感谢Google Cloud AI对本项目的支持。

https://arxiv.org/pdf/1802.03494.pdf

[gaocegege]

还有一篇相关论文：

https://arxiv.org/pdf/1510.00149.pdf