Qingyao Ai, Liu Yang, Jiafeng Guo, and W Bruce Croft. 2016. Analysis of the paragraph vector
model for information retrieval. In Proc. ICTIR. ACM, 133–142.
Qingyao Ai, Liu Yang, Jiafeng Guo, and W Bruce Croft. 2016. Improving language estimation
with the paragraph vector model for ad-hoc retrieval. In Proc. SIGIR. ACM, 869–872.
IRのための単語表現
AWE ( average word embedding)
個々の単語からquery, docmentのベクトルを得る方法として、シンプルに平均をとるのがポピュラー
このとき、term embeddingがtopicalかtypicalかが効いてくる
LSA, Doc2vec : topical
word2vec, glove : topicalとtypicalのmix
(word2vecは、小さいwindow size, short textだとよりtypical)
query expansion
embeddingを使ってqueryを拡張し、それを使って検索する。
→ 単体だとPRFより悪いが、PRFとtelescopeで組み合わせることで精度が上がる。
query specific term embeddingを使ってquery expansionするとより効果的
short summary
Information Retrievalの基本からニューラルネットによるモデルまでの概観を説明したチュートリアル的な論文。
textual retrievalの基礎
IR modelsに求められるもの
Metric
※上記3項目は、基本的にはラベルは0, 1
Traditional IR Models
TF-IDF documentにおけるquery termの出現数：term frequency そのquery termの出てくるdocumentの頻度：inverse document frequency queryに出てくる単語がdocumentにいっぱい出てきてかつそれらが他のdocumentにはあまり出てこない時にqueryとdocumentの関連度は高いと考える。 有名なranking function：BM25
Language Model
documentを、事後確率p(d|q)でランキング。
→(10)：document dからランダムにサンプルされた単語でqueryが生成される確率。
((12)では、dだけからだと母集団の単語が少ないので、Dも使ってsmoothing）
TF-IDFもLMも関連度を文書内のqueryに出てくる単語のカウントで出している。 出てくる場所や他の単語との関係は無視 以下の3つはこれらのどちらかを考慮
Translation Model queryがdocumentから”翻訳されて”生成されると仮定
文書内のqueryには出てこない単語との関連性を”翻訳”を利用して考慮できる。
（queryの単語とdocumentの単語のペアは、SMTと同じ手法で学習できる。）
Dependence Model
ngramやbowを利用して、query内の単語の近接性を考慮
Pseudo relevance feedback (PRF)（擬似適合フィードバック） 検索を２回行うことで精度を高める。 １回目の検索で出てきた結果の文書を使ってquery（の言語モデル）を拡張し、もう１度検索を行う。 documentのスコアリングは、以下のようにKL divergenceでqueryとdocumentの言語モデルの分布を比較する。(Tは全vocabulary)
PRFなしでは（及び第一iterationでは）、
第２段階では、（RM3という有名なものの定式化）
第一項は、queryに単語tが何回出てくるか、第二項は、１回目の検索で取ってきた各文書dにtが何回出てくるか的なことを表している。
query拡張により、vocablaryのミスマッチ問題に対してロバストになる。
マイクロブログ検索に有効らしい。
Learning to rank(L2R)
上のtraditional IR modelとは違い、機械学習ベース。L2Rにおいて、query-document pairはベクトルで表され、それを入力とするモデルによって、scoreに変換される。 目的関数による３つの分類
有名な例
単語表現
Notion of similarity
他にもあるが、以下の2つは特に、使う特徴量によりどちらを重視した表現となるかを意識する必要がある。
Embedding
explicit representation (highly sparse and high-dimentional)からembedding (dense and low-dimentional)により、可読性は下がるが、単語関係が密になり一般化されることでパフォーマンスは上がる。
IRのための単語表現
AWE ( average word embedding) 個々の単語からquery, docmentのベクトルを得る方法として、シンプルに平均をとるのがポピュラー このとき、term embeddingがtopicalかtypicalかが効いてくる LSA, Doc2vec : topical word2vec, glove : topicalとtypicalのmix (word2vecは、小さいwindow size, short textだとよりtypical)
DESM (dual embedding space model)
NTLM (Neural Translation Language Model) sec2.5のtranslation modelのtermの関連度を求めるところにembeddingを活用
GLM (Generalized Language Model) sec2.5のlanguage modelのアプローチをembedding用に拡張
WMD (word mover's distance) earth mover's distanceでterm embeddingの集合としての2文書間の距離を算出 最終的に、NWT (Non-linear Word Transportation model)がこの概念を、queryとdocument間の関連度の導出に組み込んでいる。
Telescoping evaluation embedding系はfull document collectionに対して検索するときはしばしば微妙 → exact matchingとembeddingは間違えるところが違う → exact matchingなど他手法で抜き出したものをembeddingでrerank（このようなchainな手法をtelescopeという）
query expansion embeddingを使ってqueryを拡張し、それを使って検索する。 → 単体だとPRFより悪いが、PRFとtelescopeで組み合わせることで精度が上がる。 query specific term embeddingを使ってquery expansionするとより効果的
IRのためのDeep neural model
auto encoder
auto encoderで隠れ層が0, 1をとるようにして、文書が圧縮後も0, 1のベクトルで表されるようにする。 → 検索時にqueryをhash化（0, 1のベクトル？）し、素早く検索して引っかかったものを別モデルでsort（The Semantic Hashing Model） この手法では、IRタスクに対して最適化していないので、目的に合う表現を得るためにquery-document pairでauto encoderを訓練するという方法がある。
Siamese networks
主に文書のタイトルなどのshort textとqueryに使われるが、最近ではlong documentに対しても結果がでてるっぽい。 siameseでもデータによってsimilarityの違いはあり、CDSSM（Convolutional Deep Semantic Similarity Model）でquery-document pairを使ったときはよりtopicalだが、queryのprefix-suffix pair（queryの前半と後半）を使ったときはtypical。 ちなみにprefix-suffixは、query-auto-completion（途中まで打ち込まれたものからその先のsuggestionをする）のスコアをつけるために、siameseを用いてprefix, suffixを別で通してマッチングさせるときなどに使われる。
Interaction-based networks
siameseだと、queryもdocumentも１つのembedding vectorに落とし込む。 → long documentを1つのベクトルで表すのはちょい無理があるので、それぞれの部分部分で関連度出して足し合わせるほうがいいかも → queryの各parts, documentの各partsでmatrixを使ってそこにconvolutionをかけてスコア算出
Lexical and semantic matching networks
neural IR modelの多くは、よりよいテキスト表現を得ることにフォーカスしているが、レアな単語の表現はうまく学習しない。 → lexical matchもdeepなモデルにうまく組み込まれなければ → duet architectureでlexical matching modelとsemantic matching model両方を考慮など
traditionalなもの（lexical系？）とneural系（semantic系？）で得意領域が違う
Conclusionの中のお話
その時々のcontextからqueryの意味を推察できるのが理想 → モデルに全知識を詰め込むことはできない → ある程度の知識はもち、プラスで現在のqueryに関係のあるdocumentを読んでqueryに条件づけを加えるような仕組みが理想かも
author
Bhaskar Mitra Microsoft, UCL∗ Cambridge, UK bmitra@microsoft.com Nick Craswell Microsoft Bellevue, USA nickcr@microsoft.com
URL
https://arxiv.org/pdf/1705.01509.pdf
year
2017