ドメインアダプテーションの主要論文
DANN：Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, Franc ̧ois Laviolette, Mario March, and Victor Lempitsky. 2016. Domain-adversarial training of neural networks.Journal of Machine Learning Research, 17(59):135
SSL(semi-supervised learning)を用いてtwitter domainへの適用を考慮した研究
Firoj Alam, Shafiq R. Joty, and Muhammad Imran.2018. Domain adaptation with adversarial train-ing and graph embeddings. InProceedings of the56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pages 1077–1087.
cross-domain SA
ドメイン固有の表現の学習：Prathusha K. Sarma, Yingyu Liang, and Bill Sethares.2018. Domain adapted word embeddings for im-proved sentiment classification. InProceedings ofthe 56th Annual Meeting of the Association for Com-putational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 2: Short Papers, pages 37–42
本研究：domain-adversarial framworkを導入して，ConceptNetの知識を導入する
→ Robert Speer, Joshua Chin, and Catherine Havasi. 2017.Conceptnet 5.5: An open multilingual graph of gen-eral knowledge. InThirty-First AAAI Conference onArtificial Intelligenceの改善
＊ConceptNet：semantic理解のために，background conceptsを持ったnetworkを提供 (Fig1)
外部知識の導入で様々な利益 (関連研究あり)
→ 本研究ではdomain adaptationのためにKnowledge basedを導入するこの利点
・テキストとcommonsenseやfactual knowledgeを結びつける (SAではドメインによって感情が異なることがあり)
→おｋのような観点でのKBの利用は感情や意見の理解に役立つ：Erik Cambria, Soujanya Poria, Devamanyu Hazarika,and Kenneth Kwok. 2018. Senticnet 5: Discover-ing conceptual primitives for sentiment analysis bymeans of context embeddings. InProceedings of theThirty-Second AAAI Conference on Artificial Intelli-gence, (AAAI-18), the 30th innovative Applicationsof Artificial Intelligence (IAAI-18), and the 8th AAAISymposium on Educational Advances in Artificial In-telligence (EAAI-18), New Orleans, Louisiana, USA,February 2-7, 2018, pages 1795–1802. AAAI Press
・異なるドメインの意味概念の結びつけ理解できる
2 Related Work
Domain adaptationには3つのアプローチ
・instance selection
・self-labeling
・representation learning → 本研究
Sebastian Ruder. 2019.Neural Transfer Learning forNatural Language Processing. Ph.D. thesis, NATIONAL UNIVERSITY OF IRELAND, GALWAY
sentiment analysisのsurvey的な：Soujanya Poria, Devamanyu Hazarika, Navonil Ma-jumder, and Rada Mihalcea. 2020. Beneath the tip of the iceberg: Current challenges and new directions in sentiment analysis research.arXiv preprintarXiv:200
・Domain-adversarial Training
DANN：Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pas-cal Germain, Hugo Larochelle, Franc ̧ois Laviolette,Mario March, and Victor Lempitsky. 2016. Domain-adversarial training of neural networks.Journal ofMachine Learning Research, 17(59):1–35
https://usaito.hatenablog.com/entry/2019/04/13/054437
→ 拡張として，private encoderを用いてdomain不変の特徴やドメイン固有の特徴をモデル化する手法が
Wei-Lun Chang, Hui-Po Wang, Wen-Hsiao Peng, and Wei-Chen Chiu. 2019. All about structure: Adapt-ing structural information across domains for boost-ing semantic segmentation. InIEEE Conference on computer Vision and Pattern Recognition, CVPR2019, Long Beach, CA, USA, June 16-20, 2019,pages 1900–1909
Young-Bum Kim, Karl Stratos, and Dong-chan Kim.2017b. Adversarial adaptation of synthetic or stale data. InProceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL2017, Vancouver, Canada, July 30 - August 4, Vol-ume 1: Long Papers, pages 1297–1307
→本研究では，private encoderを用いずに文固有の概念グラフ (sentence-specific concept graph)を用いてドメイン固有の特徴を捉えることを取り組む
・External Knowledge
Wikipediaを補助情報として用いた研究は多くない？：
SSL(semi-supervised learning)を用いてtwitter domainへの適用を考慮した研究
Firoj Alam, Shafiq R. Joty, and Muhammad Imran.2018.Domain adaptation with adversarial train-ing and graph embeddings. InProceedings of the56th Annual Meeting of the Association for Com-putational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pages 1077–1087
・Domain Adaptation on Graphs
SSL with GCN：Xiao Shen and Fu-Lai Chung. 2019. Network embed-ding for cross-network node classification.CoRR,abs/1901.07264
cross-domain connected gprahでは共同化embeddingやtrainingが探索
→ 本研究では，cross-domain ConceptNetの学習のためのGCNを利用
→ GCN上でshared- auto encoder strategyを用いる (domain-adversarial lossnなどを用いず)
・Sentiment Analysis
domain discriptorvectorsを用いてdomain general informationをdomain specific reprensentaionに反映させようとする試み：Qi Liu, Yue Zhang, and Jiangming Liu. 2018. Learning domain representation for multi-domain sentiment classification. InProceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Or-leans, Louisiana, USA, June 1-6, 2018, Volume 1(Long Papers), pages 541–550.
4.2 Step 1b) Knowledge Graph Pre-training
R−GCN entity enocderとDistMulti scoring decoderで構成
Michael Sejr Schlichtkrull, Thomas N. Kipf, PeterBloem, Rianne van den Berg, Ivan Titov, and Max Welling. 2018. Modeling relational data with graph convolutional networks. InThe Semantic Web - 15thInternational Conference, ESWC 2018, Heraklion, Crete, Greece, June 3-7, 2018, Proceedings, volume10843 ofLecture Notes in Computer Science, pages593–607. Springer
0. 論文
Journal/Conference: ACL 2020 Title: KinGDOM: Knowledge-Guided DOMain Adaptation for Sentiment Analysis Authors: Deepanway Ghosal, Devamanyu Hazarika, Abhinaba Roy, Navonil Majumder, Rada Mihalcea, Soujanya Poria URL: https://www.aclweb.org/anthology/2020.acl-main.292/
1. どんなもの？
Domain adaptationのタスクの１つとして，ドメインの異なるデータに対して感情分析を行う際，これまでの研究ではドメイン固有の表現を構築していた． 本研究では，複数ドメインにまたがる外部知識 (ConceptNet)を用いて，GCNで複数ドメインに対して同じ空間に写像することで複数ドメインでのbridgeを構築し感情分析のタスクに適応する手法を提案
2. 先行研究と比べてどこがすごい？
複数ドメインにまたがる外部知識であるConceptNetに対しgraph convolutional autoencoderを用いることで，複数ドメイン不変の表現を学習できた点．
3. 技術や手法のキモはどこ？
4. どうやって有効だと検証した？
5. 議論はある？
6.次に読むべき論文は？
ドメインアダプテーションの主要論文 DANN：Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, Franc ̧ois Laviolette, Mario March, and Victor Lempitsky. 2016. Domain-adversarial training of neural networks.Journal of Machine Learning Research, 17(59):135 SSL(semi-supervised learning)を用いてtwitter domainへの適用を考慮した研究 Firoj Alam, Shafiq R. Joty, and Muhammad Imran.2018. Domain adaptation with adversarial train-ing and graph embeddings. InProceedings of the56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pages 1077–1087.
メモ
Code：https://github.com/declare-lab/kingdom
Abst 感情分析の時にドメインギャップを解消したい：外部の知識を導入して ConceptNet knowledge graphを導入して，ドメインの背景知識を取り入れたフレームワーク (KinGDOM)を提案 domain adversarial baseline methodで条件付け？
1 Intro sentiment analysis (SA) 訓練と評価のドメイン間の分布の不一致で高い評価できない → domain adaptationはこの問題を取り組むための分野
cross-domain SA ドメイン固有の表現の学習：Prathusha K. Sarma, Yingyu Liang, and Bill Sethares.2018. Domain adapted word embeddings for im-proved sentiment classification. InProceedings ofthe 56th Annual Meeting of the Association for Com-putational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 2: Short Papers, pages 37–42
本研究：domain-adversarial framworkを導入して，ConceptNetの知識を導入する → Robert Speer, Joshua Chin, and Catherine Havasi. 2017.Conceptnet 5.5: An open multilingual graph of gen-eral knowledge. InThirty-First AAAI Conference onArtificial Intelligenceの改善 ＊ConceptNet：semantic理解のために，background conceptsを持ったnetworkを提供 (Fig1)
外部知識の導入で様々な利益 (関連研究あり) → 本研究ではdomain adaptationのためにKnowledge basedを導入するこの利点 ・テキストとcommonsenseやfactual knowledgeを結びつける (SAではドメインによって感情が異なることがあり) →おｋのような観点でのKBの利用は感情や意見の理解に役立つ：Erik Cambria, Soujanya Poria, Devamanyu Hazarika,and Kenneth Kwok. 2018. Senticnet 5: Discover-ing conceptual primitives for sentiment analysis bymeans of context embeddings. InProceedings of theThirty-Second AAAI Conference on Artificial Intelli-gence, (AAAI-18), the 30th innovative Applicationsof Artificial Intelligence (IAAI-18), and the 8th AAAISymposium on Educational Advances in Artificial In-telligence (EAAI-18), New Orleans, Louisiana, USA,February 2-7, 2018, pages 1795–1802. AAAI Press ・異なるドメインの意味概念の結びつけ理解できる
→ 本研究：2段階のフレームワーク KinGDOM (Knowledge-GuidedDomain adaptation ・推論ステップによる概念の結びつけ ・shared auto-encodingによるドメイン不変な概念の理解 文章固有のsub-graph emebeddingを抽出してdomain adversarial model DANNにfeed →ドメイン不変な表現を獲得 Amazon Review datasetで評価
2 Related Work Domain adaptationには3つのアプローチ ・instance selection ・self-labeling ・representation learning → 本研究 Sebastian Ruder. 2019.Neural Transfer Learning forNatural Language Processing. Ph.D. thesis, NATIONAL UNIVERSITY OF IRELAND, GALWAY sentiment analysisのsurvey的な：Soujanya Poria, Devamanyu Hazarika, Navonil Ma-jumder, and Rada Mihalcea. 2020. Beneath the tip of the iceberg: Current challenges and new directions in sentiment analysis research.arXiv preprintarXiv:200
・Domain-adversarial Training DANN：Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pas-cal Germain, Hugo Larochelle, Franc ̧ois Laviolette,Mario March, and Victor Lempitsky. 2016. Domain-adversarial training of neural networks.Journal ofMachine Learning Research, 17(59):1–35 https://usaito.hatenablog.com/entry/2019/04/13/054437 → 拡張として，private encoderを用いてdomain不変の特徴やドメイン固有の特徴をモデル化する手法が Wei-Lun Chang, Hui-Po Wang, Wen-Hsiao Peng, and Wei-Chen Chiu. 2019. All about structure: Adapt-ing structural information across domains for boost-ing semantic segmentation. InIEEE Conference on computer Vision and Pattern Recognition, CVPR2019, Long Beach, CA, USA, June 16-20, 2019,pages 1900–1909 Young-Bum Kim, Karl Stratos, and Dong-chan Kim.2017b. Adversarial adaptation of synthetic or stale data. InProceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL2017, Vancouver, Canada, July 30 - August 4, Vol-ume 1: Long Papers, pages 1297–1307 →本研究では，private encoderを用いずに文固有の概念グラフ (sentence-specific concept graph)を用いてドメイン固有の特徴を捉えることを取り組む
・External Knowledge Wikipediaを補助情報として用いた研究は多くない？： SSL(semi-supervised learning)を用いてtwitter domainへの適用を考慮した研究 Firoj Alam, Shafiq R. Joty, and Muhammad Imran.2018.Domain adaptation with adversarial train-ing and graph embeddings. InProceedings of the56th Annual Meeting of the Association for Com-putational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pages 1077–1087
・Domain Adaptation on Graphs SSL with GCN：Xiao Shen and Fu-Lai Chung. 2019. Network embed-ding for cross-network node classification.CoRR,abs/1901.07264 cross-domain connected gprahでは共同化embeddingやtrainingが探索 → 本研究では，cross-domain ConceptNetの学習のためのGCNを利用 → GCN上でshared- auto encoder strategyを用いる (domain-adversarial lossnなどを用いず)
・Sentiment Analysis domain discriptorvectorsを用いてdomain general informationをdomain specific reprensentaionに反映させようとする試み：Qi Liu, Yue Zhang, and Jiangming Liu. 2018. Learning domain representation for multi-domain sentiment classification. InProceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Or-leans, Louisiana, USA, June 1-6, 2018, Volume 1(Long Papers), pages 541–550.
3 Background 3.1 Task Definition 2つのドメイン P_{Ds}, P{D_t} Covariate shiftとして知られる (共変量シフト) → 語彙の使用法とそれに対応する意味や感情の関連付けを変化させる
ラベル付けされたソースドメインのインスタンスを用いて，ターゲットドメインのインスタンスのラベルを推定するというタスク
3.2 Domain-Adversarial NN Baseとなるモデル：DANN Source domainのために訓練されたclassifierをターゲットドメインに適用できるようshared mappingを学習 (sourceとtarget domainの2つをembeddingにmappingするための関数) Mapping関数をadversarial learning (targetからかsourceからか？)
4 Our proposed method 従来の知識グラフ (wordNet)と異なり，ConceptNetには常識的な知識が含まれている ConceptNetのサブグラフを学習 ・ConceptNetのサブグラフを構築 (4.1) ・GCN autoencoderを用いてgraphのembeddingを学習 (4.2) autoencoderを学習後 ・各instanceについて特徴を抽出 (4.3) ・DANNアーキテクチャで学習 (+グラフ特徴を再構成するためにshared autoencoderを導入) (4.4)
4.1 Step 1a) Domain-Aggregated Commonsense Graph Construction ConceptNet (G = (V, E, R))：有向 + ラベル付きエッジ 1gramの単語 or ngramのフレーズがV E：edge情報 R：relation type
356k nodes / 900k edge Sug-graph G’︰Top10の関係 (Table.1)
4.2 Step 1b) Knowledge Graph Pre-training R−GCN entity enocderとDistMulti scoring decoderで構成 Michael Sejr Schlichtkrull, Thomas N. Kipf, PeterBloem, Rianne van den Berg, Ivan Titov, and Max Welling. 2018. Modeling relational data with graph convolutional networks. InThe Semantic Web - 15thInternational Conference, ESWC 2018, Heraklion, Crete, Greece, June 3-7, 2018, Proceedings, volume10843 ofLecture Notes in Computer Science, pages593–607. Springer
・Encoder Module Relational GCNを利用 ・Decoder Module DisMult factorizationの活用 得られたfeature vectorと対角行列変換を行ってscoreを獲得
・Training グラフ系の学習はよくnegative sampling使ってcross-entorpyで損失を計算するよね ドメイン固有の特徴とドメイン一般の特徴を共通のものとして捉えることができる． Downstream taskにも応用可能
4.3 Step 2a) Commonsense Graph Feature Extraction 文章固有のcommon scense graphの特徴を抽出 ・documentの名詞や形容詞の集合Wを抽出 ・Graphから部分グラフを抽出し，各ノードの特徴ベクトルh_jの取得 ・すべてのノードの特徴ベクトルの平均を取得 (x_cg) Common senseな特徴を獲得
4.4 Step 2b) Domain-adversarial Training DANN architectureとencoderで x_cg →Encoder →z_grp x → DANN →z_dann タスク分類器 Cと domain discriminative D_advと，shared decoder D_reconに入力 し学習
5 Experimental Setup 5.1 Dataset Amazon reviews benchmark dataset 本、DVD、電子機器、台所用品の4つのドメイン
5.2 Training Details 5.3 Baseline Methods
6 Results and Analysis Fig3, Table2︰他の手法との精度比較
6.1 Ablation Studies Fig.4 Ablation studyの結果 6.2 Case Studies 7 Conclusion