[2019]Simple Applications of BERT for Ad Hoc Document Retrieval

[IkokObi]

ざっくり言うと

• ad hoc retrievalにBERTを適用してSOTA
• 一般的な文書ではBERTの入力長さの範囲を超えてしまうので，文書中の各文についてBERTで推論を行い，スコアを計算
• 各文についてのラベルは無いので，2通りの学習方法を比較
• スコアはQL+RM3と線形補完

キーワード

• IR
• NLP
• Neural model
• SOTA

1. 情報

論文リンク

https://arxiv.org/abs/1903.10972

著者

Wei Yang, Haotian Zhang, Jimmy Lin

投稿日付

2019/3/26

2. 先行研究と比べてどこがすごい？

• QAタスクにおけるBERTの応用方法をIRに合わせて使用
• BERTがすごい

3. 技術や手法のキモはどこ？

• BERTが扱えないような長い文書について，1文ずつinputとすることで対応
• 1文ごとのラベル(スコア)は存在しないが，短い文書からなるIRタスクと似た内容からなるQAタスクのデータの2通りで学習

4. どうやって有効だと検証した？

• TREC Microblog Tracks(2011-2014)
• TREC 2004 Robust Track
• 以上2つで，Robust04ではP20でSOTA，APスコアにおいてはニューラルモデルの中でおそらくSOTA

5. 議論はある？

• 長い文章にBERTを適用する際の問題として，今回は他の学習データで一文ごとのスコアを学習したが，1文ごとのスコアを推定する方法を用いて，直接学習するようにする

6. 次に読むべき論文は？

• End-to-End Open-Domain Question Answering with BERTserini

  • Wei Yang, Yuqing Xie, Aileen Lin, Xingyu Li, Luchen Tan, Kun Xiong, Ming Li, Jimmy Lin
  • https://arxiv.org/abs/1902.01718
  • 2019/2/5
  • 本文中で参照されているBERTとSeriniを用いたQAモデル

• Multi-Perspective Relevance Matching with Hierarchical ConvNets for Social Media Search

  • Jinfeng Rao, Wei Yang, Yuhao Zhang, Ferhan Ture, Jimmy Lin
  • https://arxiv.org/abs/1805.08159
  • 2018/5/21
  • TREC Microblogのタスクについて色々なモデルで検証している

[IkokObi]

7. 実装の詳細

• 1段階目にQL+RM3で候補を1000件まで絞る
• BERTの[CLS]トークンの出力を用いてスコアを予測
• QL+RM3のスコアとBERTのスコアを線形補間して最終スコアとする
• BERTのfine-tuningは10epoch

[IkokObi]

8. データセット

• TREC Microblog
  • 2011-2014年のデータ
  • 225件のトピックが(50, 60, 60, 55)で各年に含まれる
  • 合計で225,000件
  • 1年をテストデータ，他の3年を学習(内10%をvalidation)
• TREC 2004 Robust Track
  • 250のトピック
  • このタスクについての学習データは
  • 上で紹介したMicroblogデータ（タスクは同じだがドメインは異なる）
  • TrecQAとWikiQAのデータ（タスクは異なるがドメインは同じ）

[IkokObi]

9. 結果の詳細

• Microblog

-Robust04

[IkokObi]

雑感&メモ

• 既存の枠組み with BERTでSOTA
• 長い文書に対する学習方法は，BERTを適用する際には常に考慮した方が良さそう
• やはりQL+RM3がベースとなる
• arxiv投稿時にはRobust04のP@20でSOTA？（約1ヶ月後に抜かれている...）