Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

[tkuri]

論文概要

知識蒸留は通常Pre学習された複雑な教師モデルから学生モデルに知識を伝達するが、最近は学生のみで自身の知識を蒸留する「自己知識蒸留」が注目されている。そこで補助的な自己教師ネットワークを利用し分類器に洗練された知識を転送する方法を提案。セマセグ等に利用可能。

https://arxiv.org/abs/2103.08273

Code

https://github.com/MingiJi/FRSKD