Asymmetric Tri-training for Unsupervised Domain Adaption

[gabdro]

Asymmetric Tri-training for Unsupervised Domain Adaption

一言

論文本体・著者

https://arxiv.org/pdf/1702.08400.pdf Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada スライド

解きたい問題

ターゲットドメインのまったくラベルがないUnsupervised Domain Adaptionを解く

新規性

• Tri-trainig[Zhou et al.2005]では3つの分類器をequallyに使ったが本論文ではasymmetricallyに使ってる. Asymmetricとは2つの分類器でラベルなしデータTに擬似ラベルをつけ,一つの分類器でTを分類すること.
• Unsupervised Domain Adaptionタスクで最高精度

役割の異なる分類器($F_1,F_2$)をSで訓練. $F_1,F_2$を用いてTに擬似ラベルの付与. 擬似ラベルを使ってTの分類器$F_T$を訓練.

実装

共有ネットワークFとF1,F2,Ftの3つのネットワークで構成された構造になっている.

手順

1. Sで全体のネットワークを学習する
2. F1とF2は で最適化される.
   $F_t$はstandard category lossで学習される.
3. Sで学習後 Tに擬似ラベルを付与するため,$y_1,y_2$の予測を用いる.C1とC2の予測確率が最大となるクラスを示す時に2つの条件に一致したら擬似ラベルを付与する ($X_t$ の擬似ラベル$\hat{y_t}$ = C1)
   1. C1=C2
   2. $y_1,y_2$の最大確率が閾値を超えてること
4. データ$L=SUT_l$とする.
5. $F,F_1,F_2$をLで訓練
6. $F,F_t$を$T_l$で訓練
7. 擬似ラベル$\hat{y}$の更新し(4)に戻る.

githubのissueは数式表示されないっぽいので論文から手順(アルゴリズム)を掲載

実験・議論

データセット

(MNIST,MNIST-M),(SYN NUMBERS,SVHN),(SYN SIGNS/GTSRB)

https://arxiv.org/pdf/1409.7495.pdf

ベースライン手法

• Maximum Mean Discrepancy(MMD)[Long et al.,2015b]
• Domain Adversarial Network(DANN)[Genin & Lempitsky,2014]
• Deep Reconstruction Clasification Network(DRCN)[Ghifary et al.,2016]
• Domain Separation Networks(DNS)[Bousmalis et al.,2016]
• k-Nearest Neighbor based adaption(kNN-Ad)[Semer et a;/.2-16]

  結果

  どのタスクにおいても一番良い.

  赤点がターゲット,青点がソース 図(b)及び(d)から赤点が適応することによってより分散してることがわかる

  

3つのネットワークのTに対する精度

読んだ中での不明点などの感想

• 初めてDAの論文読んだので'当たり前'を知らないだけかもしれませんが,なぜ擬似ラベルが付与できるのかというとソースとターゲットで使用するラベルは共通だからなのです?
• $F_1$と$F_2$で別々の特徴を獲得してほしいはず.. でなきゃco-trainingでいいわけだし. そこの振り分けが見逃しかもしれないけどわからなかった.
• 擬似ラベルが重要でtriでなくてもいいのではと思ってしまった. どうなんだろう..(結果にTに対する3つのネットワークの精度が近かったから)

関連論文