[2018]Multi-Task Learning for Document Ranking and Query Suggestion

[IkokObi]

ざっくり言うと

• キーワード検索におけるランク学習と次のキーワードのsuggestionをmulti-taskで学習する
• 内部状態を共有してmulti-task学習することが両者の精度向上につながる
• 一連の検索の過程(session)をLSTMでencodingして，履歴を活かしたranking及びsuggestionを行なっている
• multi-task neural session relevance framework: M-NSRF

  キーワード

• IR
• NLP
• Learn to rank
• query suggestion
• RNN

1. 情報

論文リンク

https://openreview.net/forum?id=SJ1nzBeA-

著者

Wasi Uddin Ahmad, Kai-Wei Chang, Hongning Wang

投稿日付

2018/2/22 (ICLR 2018)

2. 先行研究と比べてどこがすごい？

• ユーザの検索の過程(session)を利用してrankingやsuggestionを行なっている点
• rankingとsuggestionを別のモデルで学習するのではなく，sessionの情報を共有した上でmulti-task学習を行なった点

3. 技術や手法のキモはどこ？

• 検索の過程(session)の利用
• rankingとsuggestionのmulti-task学習

4. どうやって有効だと検証した？

• AOL search logデータを用いて，ベースラインモデルと精度比較
• rankingのベースラインモデル10個
• Neural modelは大別すると2種類ある
  • representation focused: embedding空間の類似度
  • interaction focused: 単語間の関係性
• query suggestionのベースラインモデル4個

5. 議論はある？

• 文書のタイトルだけでなく文書の中身も考慮
• クリックの過程，順番を入れ込む
• attention機構の導入
• sessionを超えた情報を入れて，ユーザにカスタマイズされたrankingやsuggestion

6. 次に読むべき論文は？

• Convolutional Neural Network Architectures for Matching Natural Language Sentences
  • Baotian Hu, Zhengdong Lu, Hang Li, Qingcai Chen
  • https://papers.nips.cc/paper/5550-convolutional-neural-network-architectures-for-matching-natural-language-sentences
  • 2014/12/8-13 (NIPS 2014)
  • 本文中で多く参照されている
• A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion
  • Alessandro Sordoni, Yoshua Bengio, Hossein Vahabi, Christina Lioma, Jakob G. Simonsen, Jian-Yun Nie
  • https://arxiv.org/abs/1507.02221
  • 2015/7/8
  • 本論文で提案されているquery suggestionにの先行研究
• Match-Tensor: a Deep Relevance Model for Search
  • Aaron Jaech, Hetunandan Kamisetty, Eric Ringger, Charlie Clarke
  • https://arxiv.org/abs/1701.07795
  • 2017/1/26
  • 比較手法の中で最も性能が良かったモデル
  • 本論文中でも拡張して使っており，最も性能が良かった

[IkokObi]

7. 実装の詳細

• inputはqueryの系列Q_i(i番目の検索キーワード)とそれに対する候補文書群D
• tokenからembeddingされ，biLSTMでencoding(query: vec_q, document: vec_d)
• 検索キーワードの系列Q_iに対してLSTMでsessionをencoding(vec_s)
• vec_q, vec_sをconcatenationして変換し，さらにvec_dと一緒に変換することで文書のranking scoreを計算
• 同じvec_sを用いてquery suggestionを行う．
• query suggestionはvec_sを初期ベクトルとし，LSTMで学習・予測
• rankingにおいては1回以上クリックされた文書を正例とし，ランク学習でいうpointwiseアプローチで学習している
• 学習時のロスに，suggesion単語の分布のエントロピーを罰則として入れている．これは，特定の単語に分布が集中することを防ぐのが目的．
• システムの全体像

[IkokObi]

8. データセット

• AOL search log
  • 合計で16,946,938 queries，ユーザは657,426 unique users
  • sessionについては，train : validation : test = 1,032,459 : 129,053 : 91,108
  • queryについては，train : validation : test = 2,987,486 : 287,138 : 259,117

[IkokObi]

9. 結果の詳細

• rankingに関する結果

  

• query suggestionに関する結果

  

• query suggestionの例

  

• Appendixからも

  

[IkokObi]

雑感&メモ

• sessionをLSTMでencodingするのは良い発想だと思った
• 議論にも書いたがattention使えそう
• 使っているデータセットが大規模