[2017]Learning to Attend, Copy, and Generate for Session-Based Query Suggestion

[IkokObi]

ざっくり言うと

• query suggestionのモデルにsession情報をRNNで埋め込むようにした
• sessionのどこに注目するかという点でattention機構を導入
• copy機構を導入し，sessionの前の段階で入力した単語をcopyすることでOOVや珍しい単語に対応
• 検索キーワードの62%は，それより前の検索単語を引き継いでおり，引き継がれる単語の67%は頻度で下位10%の単語であることから，OOVや珍しい単語をsuggest出来るモデルを考えている
• 生成モデルとしての性能を検証する新しい指標を提案(一部分かりにくい)

キーワード

• NLP
• query suggetion
• attention
• copy mechanism

1. 情報

論文リンク

https://arxiv.org/abs/1708.03418

著者

Mostafa Dehghani, Sascha Rothe, Enrique Alfonseca, Pascal Fleury (Google)

投稿日付

2017/11/13

2. 先行研究と比べてどこがすごい？

• Sordoni et al.(https://github.com/IkokObi/paper-readings/issues/14) の論文と近い内容で，先行研究のモデルにattentionを加えた
• OOVや珍しい単語をsuggest出来るように，https://github.com/IkokObi/paper-readings/issues/6 で提案されたcopy機構を入れ込んだ
• 検索におけるノイズ(不要な単語，不要な検索，不要な検索session)にも強い

3. 技術や手法のキモはどこ？

• session情報をRNNでencodingし，query suggestionする際にはattentionでどのsessionに注目するかを決めている
• OOVや珍しい単語に対応するため，copy機構を組み込む

4. どうやって有効だと検証した？

• AOL search logを用いて，learn-to-rankモデルの特徴量の1つに加えて精度を検証
  • これはSordoni et al.と同じ検証方法
• 生成モデルの性能を評価する指標を提案し，先行研究のモデルをベースラインとして比較

5. 議論はある？

• clickから得られるデータを学習に活用
• queryの自動補完タスクへの応用

6. 次に読むべき論文は？

• Web Query Recommendation via Sequential Query Prediction
  • Qi He, Daxin Jiang, Zhen Liao, Steven C. H. Hoi, Kuiyu Chang, Ee-Peng Lim, Hang Li
  • 2009/3
  • https://ieeexplore.ieee.org/document/4812545
  • 文脈をモデル化するQVMMというもの
  • Sordoni et al.でも出てきた
• UMass at TREC 2004: Novelty and HARD
  • Nasreen Abdul-Jaleel, James Allan, W. Bruce Croft, Fernando Diaz, Leah Larkey, Xiaoyan Li, Mark D. Smucker, Courtney Wade
  • https://trec.nist.gov/pubs/trec13/papers/umass.novelty.hard.pdf
  • しばしば目にするRM3というモデルの引用論文

[IkokObi]

7. 実装の詳細

• 検索queryを系列順に入力してbiRNNでencoding

• query間の仕切りを表すタグに対応するembeddingを用いて，sessionをbiRNNでencoding

• queryのembeddingも用いてattention weightsを計算し，contextベクトルを計算

• pointer networkを用いてcopy機構を組み込む．これにより，検索キーワードのsession内履歴から単語をコピーすることが可能になる

• 全体像

  

• 訓練時には，全体のlossを定めてend-to-endで学習するのではなく，generate部分やcopy部分それぞれを別々にして順番にgradientを計算してupdateしている

[IkokObi]

8. データセット

• AOL search log
  • 約9,000,000件のqueryと3,000,000件のsession
  • 時系列順にsortした上で，train : validation : test = 7 : 2 : 1としている
• ClueWeb09 Category B corpus
  • 50,000,000以上の英語文書
  • generationの評価時に外部データとして用いている

[IkokObi]

9. 結果の詳細

• Evaluation based on Discrimination

  • mean reciprocal rank (Learn-to-rankでしばしば用いられる指標)で評価
  • Sordoni et al.と同様に，LambdaMARTに渡す特徴量として提案モデル(ACG)の出力を加えている

• Evaluation based on Generation

  • 本論文で提案しているgenerative modelの評価指標
  • overlap basedは正解queryとのオーバーラップを計算
  • embedding basedは事前に学習したword embeddingを用いて，正解queryとの類似度を計算
  • retrieval basedは正解queryの検索結果と生成されたqueryの検索結果を様々に比較

• queryにnoiseが入った場合のrobust性についても調べている

[IkokObi]

雑感&メモ

• 第一著者の人がGoogleでインターンをして書いた論文
• 細かい部分の実装や提案した評価指標の詳細で分かりにくい点が多かった