Temporal Ensembling for Semi-Supervised Learning

[yskn67]

一言でいうと

deep neural networkの半教師あり学習の提案 data augmentationやdropout等によって確率的に出力が揺らぐネットワークにおいて、 出力を近づけるようなloss(ここではunsupervised lossとする)をcross entropy lossに追加する。 2つの学習方法が提案されている。

• П-model
• Temporal ensembling

П-modelはunsupervised lossを同一のネットワークに2回データを入力することで取得する。 Temporal ensemblingではネットワークの入力は1回のみで、過去の出力のEMAを使用してunsupervised lossを計算する。 П-modelと比較してTemporal ensemblingの利点は以下のように述べられている。

• ネットワークにデータを入力する回数が半分
• EMAで算出された出力はノイズが少ない

論文リンク

https://arxiv.org/abs/1610.02242

著者/所属機関

Samuli Laine Timo Aila (NVIDIA)

投稿日付(yyyy/MM/dd)

2017

概要

新規性・差分

手法

結果

コメント