Open yiskw713 opened 4 years ago
Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le
CVPR2020
pdf 解説記事 公式実装
自己訓練(self-training)とは，ある分類器fをラベル付きデータで学習し， その後ラベルのないデータに対して分類を行い，高い確信度を持って分類したものに その分類結果を擬似ラベルとして付与し，再度学習しなおすことを繰り返す学習法
この自己訓練を，異なる二つのモデルで行うのが共訓練(co-training)というもの． ラベルありデータで，二つの分類器をそれぞれ学習させる． その後，ラベルなしデータに対してそれぞれのモデルが分類を行い， 一方の確信度の高い分類結果を，もう一方の次の学習の際の擬似ラベルとして用いるというもの．
今回の手法は，co-trainingっぽいが，論文では self-trainingとしている
二つのモデルでself-training を行う際に，一方を Teacher, もう一方を Student とする． Teacher モデルをラベル付きデータで学習させた後， ラベルなしデータに対して分類をかけ擬似ラベル(soft label)を与える． この後，擬似ラベルを持つデータを含んだデータセットで Student モデルを学習させるが， その際に， i) RandAugment, Dropout, Stochastic Depth の三つのノイズを，Teacherモデルを学習させた時よりも同等かそれ以上与えて，Studentモデルを学習させる ii) Student モデルは，Teacher モデルよりも大きなものを用いる とする．この学習過程を繰り返すことで，精度が高くかつ，ロバスト性も兼ね備えることができるとのこと．
May 12th, 2020
INFO
author
Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le
affiliation
conference or year
CVPR2020
link
pdf 解説記事 公式実装
事前知識
自己訓練(self-training)とは，ある分類器fをラベル付きデータで学習し， その後ラベルのないデータに対して分類を行い，高い確信度を持って分類したものに その分類結果を擬似ラベルとして付与し，再度学習しなおすことを繰り返す学習法
この自己訓練を，異なる二つのモデルで行うのが共訓練(co-training)というもの． ラベルありデータで，二つの分類器をそれぞれ学習させる． その後，ラベルなしデータに対してそれぞれのモデルが分類を行い， 一方の確信度の高い分類結果を，もう一方の次の学習の際の擬似ラベルとして用いるというもの．
今回の手法は，co-trainingっぽいが，論文では self-trainingとしている
概要
二つのモデルでself-training を行う際に，一方を Teacher, もう一方を Student とする． Teacher モデルをラベル付きデータで学習させた後， ラベルなしデータに対して分類をかけ擬似ラベル(soft label)を与える． この後，擬似ラベルを持つデータを含んだデータセットで Student モデルを学習させるが， その際に， i) RandAugment, Dropout, Stochastic Depth の三つのノイズを，Teacherモデルを学習させた時よりも同等かそれ以上与えて，Studentモデルを学習させる ii) Student モデルは，Teacher モデルよりも大きなものを用いる とする．この学習過程を繰り返すことで，精度が高くかつ，ロバスト性も兼ね備えることができるとのこと．
提案手法
検証
新規性
議論，展望
Comment
date
May 12th, 2020