mixup

[junxnone]

mixup是一种非常规的数据增强方法，一个和数据无关的简单数据增强原则，其以线性插值的方式来构建新的训练样本和标签。

解决问题

• 内存占用大
• 减少对错误标签的记忆
• 对对抗样本的敏感性（即改进泛化能力）

Reference

• [ ] paper - mixup: BEYOND EMPIRICAL RISK MINIMIZATION
• [ ] Github repo
• [ ] 如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
• [ ] paper - Bag of Tricks for Image Classification with Convolutional Neural Networks
• [ ] 『Bag of Tricks for Image Classification with Convolutional Neural Networks』论文笔记
• [ ] 数据增强——mixup
• [ ] 论文笔记之数据增广（1）：mixup
• [ ] mixup:超越经验风险最小化
• [ ] 深度学习 | 训练网络trick——mixup

Brief

1 背景

• ERM 允许大规模神经网络去记忆（而不是泛化）训练数据。
• 学习机（如神经网络）的规模不随着训练数据数量的增加而增加，那么ERM的收敛性就是可以得到保证的

  ERM - Empirical Risk Minimization - 经验风险最小化

• 在测试分布与训练数据略有不同时，ERM 方法已不具有良好的解释和泛化性能。
• 数据增强可以提高泛化能力，但这一过程依赖于数据集，而且需要专门知识。
• 数据增强假定领域内样本都是同一类，且没有对不同类不同样本之间领域关系进行建模。

2 mixup 公式

其中 λ 是一个服从B分布的参数: λ∼Beta(α,α)，α∈(0,∞) , 超参数α控制了在特征-目标向量之间插值的强度，当α→0时恢复为 ERM 原则

3 pytorch 实现

4 Test error

• 随着α的增加，网络的训练误差就会增加，而其泛化能力会随之增强
• 当 α→∞ 时，模型就会退化成最原始的训练策略。
• mixup可以隐式地控制模型的复杂度
• 增大网络容量，可以使训练误差对大的α值敏感性降低

效果