[2018]Cross Domain Regularization for Neural Ranking Models Using Adversarial Learning

[IkokObi]

ざっくり言うと

• learn-to-rankにおいてもneuralモデルが出てきているが，そこにadversarial learningを導入して汎化性能を向上させようという研究
• 検索対象となるquery, documentのembeddingにはCosSimモデルとDuetモデルを使用
  • CosSim: https://github.com/IkokObi/paper-readings/issues/8
  • Duet: https://github.com/IkokObi/paper-readings/issues/7

    キーワード

• IR
• Learn to rank
• Adversarial learning

1. 情報

論文リンク

https://arxiv.org/abs/1805.03403

著者

Daniel Cohen, Bhaskar Mitra, Katja Hofmann (Microsoft), W. Bruce Croft

投稿日付

2018/3/9

2. 先行研究と比べてどこがすごい？

• adversarial learningを用いて既存のモデルの汎化性能を向上させている

3. 技術や手法のキモはどこ？

• 既存の検索モデルの途中の出力をdiscriminatorのinputとしてadversarial learning

4. どうやって有効だと検証した？

• Yahoo’s Webscope L4データセットを用いたcross topic検証
• L4データセットに下の2つを加えたcross collection検証(データ数をsamplingで補正)
  • InsuranceQA
  • WebAP
• ベースラインはadversarial learningしていないモデル

5. 議論はある？

• cross topicに対してcross collectionの場合には内容やデータ数の差が大きいためか，性能が上がると言っても十分な精度ではない
• adversarial learningは成功しているが，そもそもとしてデータ数がないとベースのdeepモデルが上手く学習出来ない

6. 次に読むべき論文は？

• Generative Adversarial Nets
  • Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio
  • https://papers.nips.cc/paper/5423-generative-adversarial-nets
  • 2014/12/8-13 (NIPS2014)
  • GANの元論文
• Domain-Adversarial Training of Neural Networks
  • Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, François Laviolette, Mario Marchand, Victor Lempitsky
  • https://arxiv.org/abs/1505.07818
  • 2016/3/26
  • domain間のadversarial学習
• Adversarial Discriminative Domain Adaptation
  • Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell
  • https://arxiv.org/abs/1702.05464
  • 2017/2/17
  • 上に同じくadversarial学習によるdomain適応

[IkokObi]

7. 実装の詳細

• discriminatorの入れ方

  

• loss関数

  

• 学習をうまく進めるため，訓練時にdiscriminatorのみvalidationデータで学習を進めるということをしている

[IkokObi]

8. データセット

• Yahoo’s Webscope L4(知恵袋のようなデートセット？)
  • 全データ:142,627
  • answerの候補として，BM25ベースで検索して10個選んでいる
• InsuranceQA
  • train : validation : test = 12,887 : 1,000 : 1,800*2 (テストが2セットある)
  • test時は499個のrandomサンプルを加えて候補に入れている
• WebAP
  • 82個のTREC queries
  • answerのpassageが8,027
  • 文書の一部を切り出して，無関係な文書を作成している

[IkokObi]

9. 結果の詳細

• cross topic

  

• cross collection

  

[IkokObi]

雑感&メモ

• 最近domain adversarialに興味があり，それがランク学習に用いられていたので読んだ
• cross domainのデータを集めるのが大変そう