yiskw713 / paper_summary

Write summaries of papers I've read in Japanese
10 stars 1 forks source link

Interpolation Consistency Training for Semi-Supervised Learning #148

Open yiskw713 opened 4 years ago

yiskw713 commented 4 years ago

INFO

author

Vikas Verma, Alex Lamb, Juho Kannala, Yoshua Bengio, David Lopez-Paz

affiliation

Interpolation Consistency Training for Semi-Supervised Learning

conference or year

IJCAI 2019

link

pdf 実装

概要

Screen Shot 2020-05-16 at 20 50 47

半教師あり学習の手法である Interpolation Consistency Training (ICT)を提案. ラベルのない画像のペアをmixupし, mixupする前のデータに対する出力結果をmixした結果と, mixup後のデータの出力結果の間の二乗誤差を最小化するように学習する. この二乗誤差にはイテレーションを経るごとに値が大きくなるような重み付け(ランプ関数)がされている これにラベルありのデータに対するクロスエントロピーロスに加えて,学習を行う.

ICTにおいては Mean Teacherを用いているが,Mean Teacherがなくても精度が出ることが論文中で示されている.

date

May 16th, 2020