[2018]The Neural Hype and Comparisons Against Weak Baselines - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2018]The Neural Hype and Comparisons Against Weak Baselines #22

Open IkokObi opened 5 years ago

IkokObi commented 5 years ago

ざっくり言うと

深層学習モデルがもてはやされている現状を批判
ベースラインモデルと比較して精度の向上を論文に報告するが，古典的なベースラインモデルもきちんとチューニングするとSOTAと同等になる
IRの分野はリーダーボード等がはっきりしておらず，都合の良いような結果が散見されるので，健全な科学を行おうというような提案をしている
リーダーボードや古典的なモデルの実装をgithub (Anseriniという名前)で公開しており，精力的にメンテナンス等している模様
NNを用いたランクモデルのほとんどが候補の絞り込みにおいてBM25等を用いている点も指摘

キーワード

IR
NLP
model comparison

1. 情報

論文リンク

https://dl.acm.org/citation.cfm?id=3308781

著者

Jimmy Lin

投稿日付

2018/2 (SIGIR Forum)

2. 先行研究と比べてどこがすごい？

ベースラインモデルとして扱われる古典モデル(2000年以前から2000年前後くらいまでのモデル)をきちんとチューニングして，ニューラルモデルと比較
古典モデルをきちんとチューニングすると，ニューラルモデルを超えうることを示して，近年のニューラルモデルがもてはやされている現状を批判的に見ている

3. 技術や手法のキモはどこ？

Grid searchを怠らない

4. どうやって有効だと検証した？

TREC 2004 Robust Trackを使用(Robust04と呼ばれるらしい)
qualityが高いと言われているこのデータセットで一律に比較

5. 議論はある？

ベースラインモデルであってもきちんとチューニングに手を抜かないようにしようとIRコミュニティに対して提言
他の分野，例えばNLPのように公のリーダーボードをきちんと運用し，論文にはSOTAの結果や表を載せ，そこに自分たちの結果を加えるような形で公平な競争を行うように提言

6. 次に読むべき論文は？

Improvements to BM25 and Language Models Examined
- Andrew Trotman, Antti Puurula, Blake Burgess
- https://dl.acm.org/citation.cfm?id=2682863
- 2014/11/27-28
- BM25やquery likelihoodの類をまとめている論文
Old dogs are great at new tricks: column stores for ir prototyping
- Hannes Mühleisen, Thaer Samar, Jimmy Lin, Arjen de Vries
- https://dl.acm.org/citation.cfm?id=2609460
- 2014/7/6-11 (SIGIR 14)
- 4種類のシステムによるBM25の実装を比較

IkokObi commented 5 years ago

7. 実装の詳細

古典モデルにおいては，BM25, Query likelihood with Dirichlet smoothing, RM3を使用し，それぞれに含まれるパラメータをgrid search

IkokObi commented 5 years ago

8. データセット

TREC 2004 Robust Track (通称Robust04)
- データセットして良質らしい
- 十分な数のトピックを扱っており，アノテーションの質も良い
ユーザの行動データ(clickや検索ログのsessionデータ)が必要ないという点を重視している

IkokObi commented 5 years ago

9. 結果の詳細

Robust04を用いているニューラルモデル提案論文その1(論文は匿名化されている)
その2

IkokObi commented 5 years ago

雑感&メモ

Anseriniのリポジトリ (https://github.com/castorini/anserini)
後半は主張が結構激しめに感じた
IRコミュニティの研究の方向性を正したいという意思を感じた
リーダーボードをきちんと運用しようというのはとても良い方向性だと思う