[2011]When documents are very long, BM25 fails! - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2011]When documents are very long, BM25 fails! #12

Open IkokObi opened 5 years ago

IkokObi commented 5 years ago

ざっくり言うと

BM25が単語数の多い文書に対して過剰にペナルティを与えるのを解決
計算式に一手間加えるだけ
キーワード
IR
BM25

1. 情報

論文リンク

https://dl.acm.org/citation.cfm?doid=2009916.2010070

著者

Yuanhua Lv, ChengXiang Zhai

投稿日付

2011/7/24-28 (SIGIR 2011)

2. 先行研究と比べてどこがすごい？

BM25は単語数の多い文書に対して過剰にペナルティを課すようになっており，それを解決
4つのベンチマークセットに対して，BM25を上回る性能

3. 技術や手法のキモはどこ？

文書の単語数が多くなると，BM25のスコアは0に収束してしまい，検索キーワードが含まれていない場合と同じ扱いになってしまうことを回避
0に収束する部分を正の定数に収束するように変更

4. どうやって有効だと検証した？

6つのデータセット(web datasetsとnews datasets)を用いて通常のBM25と精度比較
特にweb datasetsの方で精度が良かった

5. 議論はある？

6. 次に読むべき論文は？

Some simple effective approximations to the 2-Poisson model for probabilistic weighted retrieval
- S. E. Robertson, S. Walker
- https://dl.acm.org/citation.cfm?id=188561
- BM25の論文

IkokObi commented 5 years ago

7. 実装の詳細

BM25の計算式
問題となる部分f(q, D)
改善した式
deltaによるシフトで下限が(k1 + 1)δ/(k1 + δ)となる

IkokObi commented 5 years ago

8. データセット

検証データセットは6つ (データ数のハイフンはqueryの通し番号の模様？)
Web dataset
- Terabyte: 701-850
- WT10G: 451-550
- WT2G: 401-450
news dataset
- Robust04: 301-450&601-700
- TREC8: 401-450
- AP8889: 51-150

IkokObi commented 5 years ago

9. 結果の詳細

スコア表
スコア関数に含まれるパラメータを変化させたときの影響

IkokObi commented 5 years ago

雑感&メモ

シンプルだけれど問題点を明らかにし，それを解決していて良い感じがする
被引用数がそこまで多くない(72件)から実際には用いられていない(もしくは何か欠点orたまたま精度が良かっただけ？)