[2016]Learning to Match using Local and Distributed Representations of Text for Web Search - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2016]Learning to Match using Local and Distributed Representations of Text for Web Search #7

Open IkokObi opened 5 years ago

IkokObi commented 5 years ago

ざっくり言うと

従来の単語の厳密なマッチに基づく部分と，機械学習による潜在空間(分散表現)でのマッチングとを併用することでよりよい検索を行う
単語のマッチ(local model)と分散表現を用いたマッチ(distributed model)の両方をNNで学習(duetモデル)
キーワード
IR
NLP
CNN

1. 情報

論文リンク

https://arxiv.org/abs/1610.08136

著者

Bhaskar Mitra, Fernando Diaz, Nick Craswell (Microsoft)

投稿日付

2016/10/26

2. 先行研究と比べてどこがすごい？

local modelの特徴
- 珍しい単語や未知語に対応できる
- 曖昧な検索や同義語に対応しづらい
distributed modelの特徴
- 珍しい単語や未知語に対応できない
- 潜在空間で距離を計算するので，曖昧検索を行うことができる
ベンチマークスコアでは厳密なlocal modelの方が一般に優勢
local modelには伝統的にBM25等のスコアが用いられるが，query単語のマッチングにおいて，複数のマッチングがバラバラな場所にあるよりも固まっている方が良く，更に文章の前半にある方が良いだろうという部分をconvolution等を用いたNNで学習した
先行研究では学習時に検索ワードと無関係な文書をランダムに選んでいたが，annotationを加えることで精度を向上させた

3. 技術や手法のキモはどこ？

local modelのスコアリングを学習した点
local modelとdistributed modelを融合させた点
学習時に，検索における無関係データをランダムではなくannotationした点

4. どうやって有効だと検証した？

Bingの検索履歴データを使用し，ベースラインモデルと比較して優れたスコアを発揮した

5. 議論はある？

IRにおいては推論時間が重要となるが，本手法では特にdistributed modelにおけるログ文書のベクトル化については途中までの計算を事前に行なっておくことが出来るので，計算時間の削減になると述べている
DNNモデルを用いたIRは，ログ文書全てとマッチングを計算すると考えると推論時間が結構きつそう

6. 次に読むべき論文は？

A language modeling approach to information retrieval
- Jay M. Ponte and W. Bruce Croft
- https://dl.acm.org/citation.cfm?id=291008
- 1998/8/24-28
- Non-neuralなQuery likelihoodというモデル

IkokObi commented 5 years ago

7. 実装の詳細

Local model
- 最初にtextの内，query wordと一致した位置を反映したone-hot-encodingを行う
- これに対してconvolutionをかけてから，全結合等をいくつか
Distributed model
- n-gram encodingを使用
- queryとdocumentを前半は別々に処理して，中盤でhadamard積を取って結合
モデルの全体像

IkokObi commented 5 years ago

8. データセット

Bingの検索履歴から集めたログ
- 人間によるannotationで5段階評価(perfect, excellent, good, fair, and bad)
学習データに用いたのは199,753件
学習データの構成は1つの関連文書と4つの無関連文書からなる
testデータについては，queryワードをqueryの登場頻度に基づく場合とuniqueな分布から一様に取る場合の2パターンをテスト

IkokObi commented 5 years ago

9. 結果の詳細

評価指標はNDCG
結果の表
学習時に用いる無関係な文書を，ランダムで選ぶ代わりに人手で判断すると精度が上がる

IkokObi commented 5 years ago

雑感&メモ

キーワードマッチの部分を単にBM25等にするのではなく，一致する単語とその位置を表すindicatorからCNN等でスコアを出すのは良いなと思った
キーワードがマッチしていてもバラバラだったりすると，実は無関係ということもあるので，そのような状況における検索を改善している