MnasNet

[junxnone]

自动移动神经网络架构搜索方法 (MNAS), 将模型延迟考虑进主要目标中以致于可以得到一个在精度和延迟之间达到平衡的模型

Reference

• [ ] MnasNet论文解读
• [ ] Github code
• [ ] paper - MnasNet: Platform-Aware Neural Architecture Search for Mobile
• [ ] CNN中parameters和FLOPs计算

Brief

• 衡量标准的变化：不再使用FLOPS来评估, 使用真实latency来评估

  FLOPs - floating point operations，即表示浮点运算次数 另一个FLOPS - floating point operations per second, 每秒浮点运算次数, 用来衡量硬件算力

• 提出了一种分解式层次搜索空间，它允许各层的结构不同，并且最终在灵活性和搜索空间大小上取得平衡

目标函数

将目标延迟 T 作为一个约束条件，在这个约束条件下最大化模型精度 ACC(m)

• ACC(m)表示在目标任务上的精度
• LAT(m)表示在目标移动平台上的推理延迟
• T是目标延迟, 即我们允许的最大的延迟时间

分解层次搜索空间

• 之前的自动搜索主要是搜索一些类型的单元，然后就重复堆叠相同单元构成网络结构，这样做虽然简化了搜索过程，但是也排除了层的多样性
• 分解层次搜索空间将将CNN模型划分为一组预先定义的 blocks，逐渐减少输入分辨率和增加卷积核大小。每个块有一列相同的层，操作和连接都由每个块的子搜索空间决定

  可以平衡层的多样性和整个搜索空间的尺寸

---

搜索空间内容:

• 卷积操作 ConvOp：常规卷积（conv）/ 深度卷积（dconv）/ 移动倒置瓶颈卷积(mobile inverted bottleneck conv)
• 卷积核大小 Kernel size：3×3 / 5×5
• Squeeze-and-Excitation ratio SERatio：0 / 0.25
• Skip操作 SkipOp：池化(pooling) / 恒等残差块(identity residual) / no skip
• 输出 Filter size : Fi
• 每个块包含的层数Ni

Search Algorithm(TODO)