[2021] Does Knowledge Distillation Really Work?

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2021/06/10

概要

TeX

% yyyy/mm/dd
@article{
    stanton2021does,
    title={Does Knowledge Distillation Really Work?},
    author={Samuel Stanton and Pavel Izmailov and Polina Kirichenko and Alexander A. Alemi and Andrew Gordon Wilson},
    journal=arXiv # "2106.05945",
    year={2021}
}

[gatheluck]

• 知識蒸留において、生徒に十分な容量がある場合でも、教師と生徒との間には大きな乖離があることが多い。
• 原因としては、最適化の難しさにある。
• また、蒸留に使用されるデータセットが生徒と教師がどこまで近づくかに大きく関わっている。
• しかし、教師に非常に近い生徒の汎化性能が高いとは必ずしも限らない。