検索クエリが与えられ，そこから文書のランク付けを行う検索モデルの最近の研究 (ベースライン分析もちゃんとしてるらしい)
Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin.2019. Critically examining the “neural hype”: Weak baselines and the additivity of effectiveness gains from neural ranking models. In Proceedings of the42Nd International ACM SIGIR Conference on Research and Development in Information Retrieval,SIGIR’19, pages 1129–1132, New York, NY, USA.ACM
ここで使われているらしい注目を分散させトピックへのcoverageを向上させる手法が気になる
Zhaopeng Tu, Zhengdong Lu, Yang Liu, Xiaohua Liu,and Hang Li. 2016. Modeling coverage for neuralmachine translation. InProceedings of the 54th An-nual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pages 76–85, Berlin, Germany. Association for ComputationalLinguistics
1 Introduction
scientific literatureの急増により検索が困難
keywordはkeyphraseと呼ばれる：authorが自分から付与することから，ラベルが不均一
→ 自動抽出や生成の研究が行われている
自動抽出：Kazi Saidul Hasan and Vincent Ng. 2014. Automatickeyphrase extraction: A survey of the state of theart. InProceedings of the 52nd Annual Meeting ofthe Association for Computational Linguistics (Vol-ume 1: Long Papers), pages 1262–1273, Baltimore,Maryland. Association for Computational Linguis-tics
生成：Rui Meng, Sanqiang Zhao, Shuguang Han, DaqingHe, Peter Brusilovsky, and Yu Chi. 2017. Deepkeyphrase generation. InProceedings of the 55thAnnual Meeting of the Association for Computa-tional Linguistics (Volume 1: Long Papers), pages582–592, Vancouver, Canada. Association for Com-putational Linguistics
→ 情報検索に用いれるかは不明
(最近のモデルは原文に存在しないkeyphraseも生成する)
現在のkeyphrase生成モデルが科学文書の検索に有効か？検証
クエリに対して文書のランク付けを行う基準の検索モデル：BM25とQuery Likelihood (QL)
Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin.2019. Critically examining the “neural hype”: Weakbaselines and the additivity of effectiveness gainsfrom neural ranking models. InProceedings of the42Nd International ACM SIGIR Conference on Re-search and Development in Information Retrieval,SIGIR’19, pages 1129–1132, New York, NY, USA.ACM
更に疑似フィードバック法RM3を適用して，SOTAな検索結果を達成
NTCIR-2データセットを用いての検索モデルの評価：Table 1
評価指標：MAP（検索結果全体の精度） + P@10 (検索結果1P目の精度)
2.2 Keyphrase Generation
2つのkeyphrase Generationモデルについて検討
・seq2seq + copy：Sequence-to-Sequence + attention + copying mechanismでドキュメントとphraseのペアを生成
Rui Meng, Sanqiang Zhao, Shuguang Han, DaqingHe, Peter Brusilovsky, and Yu Chi. 2017. Deepkeyphrase generation. InProceedings of the 55thAnnual Meeting of the Association for Computa-tional Linguistics (Volume 1: Long Papers), pages582–592, Vancouver, Canada. Association for Com-putational Linguistics
・seq2seq + corr：トピックのカバレッジを高めるために注目度を分散 + 重複の発生を避けるためのreviewシステム
Jun Chen, Xiaoming Zhang, Yu Wu, Zhao Yan, andZhoujun Li. 2018. Keyphrase generation with corre-lation constraints. InProceedings of the 2018 Con-ference on Empirical Methods in Natural LanguageProcessing, pages 4057–4066, Brussels, Belgium.Association for Computational Linguistics.
56万7830件の科学論文を収集したデータセットKP20kを用いて学習
評価指標：f-measure top-5
KPTimes news datasetで領域横断的な一般化を検討
比較のための最先端の教師なしkeyphrase抽出モデル (mp-rank)
Florian Boudin. 2018. Unsupervised keyphrase extrac-tion with multipartite graphs. InProceedings of the2018 Conference of the North American Chapter ofthe Association for Computational Linguistics: Hu-man Language Technologies, Volume 2 (Short Pa-pers), pages 667–672, New Orleans, Louisiana. As-sociation for Computational Linguistics
0. 論文
Journal/Conference: ACL 2020 Title: Keyphrase Generation for Scientific Document Retrieval Authors: Florian Boudin, Ygor Gallina, Akiko Aizawa URL: https://www.aclweb.org/anthology/2020.acl-main.105/
1. どんなもの？
キーフレーズ生成のモデルが文書検索においても有用かどうかを分析 キーフレーズ分析のモデルを評価する際に，文書検索を用いることで既存の評価指標とは異なる観点から有効な指標となりうることを示唆した研究
2. 先行研究と比べてどこがすごい？
キーフレーズ生成が文書検索においてどの程度有用なのかをはじめて分析した研究
3. 技術や手法のキモはどこ？
既存の検索モデルとキーフレーズ抽出モデルを用いて， ・どの程度キーフレーズ生成の効果で検索結果が向上するか？ ・ドメイン外の分野で学習した生成モデルでもキーフレーズ抽出によって検索結果が向上するか？ ・どういったキーフレーズ生成モデルが文書検索の文脈では重要なのか？ などの観点から検証
4. どうやって有効だと検証した？
5. 議論はある？
キーフレーズ生成の評価のためにも，検索結果を用いることの有効性について検証されたが，現在使われているデータセットが古いものである (2001年のNTCIR-2)． この部分がintroductionの最近のscienfiric literatureの急増からもキーフレーズ生成が検索においても有用かどうかを判定したいという文脈と沿っていない気がする． このデータセットを最近の論文で構築することが必要だし，そこで得られる知見も見てみたい．
6.次に読むべき論文は？
検索クエリが与えられ，そこから文書のランク付けを行う検索モデルの最近の研究 (ベースライン分析もちゃんとしてるらしい) Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin.2019. Critically examining the “neural hype”: Weak baselines and the additivity of effectiveness gains from neural ranking models. In Proceedings of the42Nd International ACM SIGIR Conference on Research and Development in Information Retrieval,SIGIR’19, pages 1129–1132, New York, NY, USA.ACM ここで使われているらしい注目を分散させトピックへのcoverageを向上させる手法が気になる Zhaopeng Tu, Zhengdong Lu, Yang Liu, Xiaohua Liu,and Hang Li. 2016. Modeling coverage for neuralmachine translation. InProceedings of the 54th An-nual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pages 76–85, Berlin, Germany. Association for ComputationalLinguistics
メモ
code:https://github.com/boudinfl/ir-using-kg
abst key phrase生成モデルが検索性能を向上させる可能性を示し，keyphrase生成モデルを理解するための外部評価フレームワークの提案 存在しないkeyphraseを用いることの難しさや，モデルの一般化の難しさについて指摘
1 Introduction scientific literatureの急増により検索が困難 keywordはkeyphraseと呼ばれる：authorが自分から付与することから，ラベルが不均一 → 自動抽出や生成の研究が行われている 自動抽出：Kazi Saidul Hasan and Vincent Ng. 2014. Automatickeyphrase extraction: A survey of the state of theart. InProceedings of the 52nd Annual Meeting ofthe Association for Computational Linguistics (Vol-ume 1: Long Papers), pages 1262–1273, Baltimore,Maryland. Association for Computational Linguis-tics 生成：Rui Meng, Sanqiang Zhao, Shuguang Han, DaqingHe, Peter Brusilovsky, and Yu Chi. 2017. Deepkeyphrase generation. InProceedings of the 55thAnnual Meeting of the Association for Computa-tional Linguistics (Volume 1: Long Papers), pages582–592, Vancouver, Canada. Association for Com-putational Linguistics → 情報検索に用いれるかは不明 (最近のモデルは原文に存在しないkeyphraseも生成する) 現在のkeyphrase生成モデルが科学文書の検索に有効か？検証
貢献 ・keyphrase生成モデルが検索モデルの改善を示す．文書検索にも有効なことを示す ・既存モデルの限界について考察 + 新たな外部評価フレームワークを提案
2 Methodology 2.1 Scientific Document Retrieval (検索モデルの構築) NTCIR-2データセットを利用 (2001年…古い): 33万のtitle + abstと49件の検索クエリの関連性の判定 (著書が付与したキーワードあり) 短いクエリを用いて2値判定を行う
クエリに対して文書のランク付けを行う基準の検索モデル：BM25とQuery Likelihood (QL) Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin.2019. Critically examining the “neural hype”: Weakbaselines and the additivity of effectiveness gainsfrom neural ranking models. InProceedings of the42Nd International ACM SIGIR Conference on Re-search and Development in Information Retrieval,SIGIR’19, pages 1129–1132, New York, NY, USA.ACM 更に疑似フィードバック法RM3を適用して，SOTAな検索結果を達成 NTCIR-2データセットを用いての検索モデルの評価：Table 1 評価指標：MAP（検索結果全体の精度） + P@10 (検索結果1P目の精度)
2.2 Keyphrase Generation 2つのkeyphrase Generationモデルについて検討 ・seq2seq + copy：Sequence-to-Sequence + attention + copying mechanismでドキュメントとphraseのペアを生成 Rui Meng, Sanqiang Zhao, Shuguang Han, DaqingHe, Peter Brusilovsky, and Yu Chi. 2017. Deepkeyphrase generation. InProceedings of the 55thAnnual Meeting of the Association for Computa-tional Linguistics (Volume 1: Long Papers), pages582–592, Vancouver, Canada. Association for Com-putational Linguistics ・seq2seq + corr：トピックのカバレッジを高めるために注目度を分散 + 重複の発生を避けるためのreviewシステム Jun Chen, Xiaoming Zhang, Yu Wu, Zhao Yan, andZhoujun Li. 2018. Keyphrase generation with corre-lation constraints. InProceedings of the 2018 Con-ference on Empirical Methods in Natural LanguageProcessing, pages 4057–4066, Brussels, Belgium.Association for Computational Linguistics. 56万7830件の科学論文を収集したデータセットKP20kを用いて学習 評価指標：f-measure top-5 KPTimes news datasetで領域横断的な一般化を検討 比較のための最先端の教師なしkeyphrase抽出モデル (mp-rank) Florian Boudin. 2018. Unsupervised keyphrase extrac-tion with multipartite graphs. InProceedings of the2018 Conference of the North American Chapter ofthe Association for Computational Linguistics: Hu-man Language Technologies, Volume 2 (Short Pa-pers), pages 667–672, New Orleans, Louisiana. As-sociation for Computational Linguistics
→Talbe２：結果 領域横断的なデータセットには教師ありモデルでも弱い結果
2.3 本論文の目的：keyphrase生成モデルが文書検索に役に立つか？ 2つの初期indexing 設定で調査：Title + abstract + keywords (T+A+K)とTitle + abstract (T+A) 検索結果をMAPで評価
3 Results 2.3の結果：Table3 ・seq2seq+copyによって生成されたキーフレーズをインデックス化することで性能が向上 ・keypharseと著者によるkeywordがindexingされている時もキーフレーズ生成の効果は観られる (互いに補完しうる) → keyphrase生成が検索にも有用 ・検索結果の有効性の評価とkeyphrase生成の結果では異なる結果 → keyphrase生成の評価に文書検索を用いることの有効性を示唆
・keyphraseの多様性は検索結果には適さない？ → corrよりもcopyの方が優れた結果であることから ・ドキュメントを拡張するよりも，クエリを拡張(RM3)することの効果を示している
Fig1：予測されるkeyphraseの数をMAP scoresの関係 (N = 5が最適？)
・keyphrase生成モデルの」抽出精度が高いことが再検索毛化kの向上をもたらしている：Table 4 → absent keyphrtaseはsemantic driftを防ぐために，ドメイン用語の結びつけをおこなわければ有用でない可能性 → 生成 = 検索結果の改善ではないため，さらなる分析が必要
・keyphraseの一般化には限界 (Table5)：T + A+ Kのindexingでkeyphrase抽出を行ったものを組み合わせたときにドメイン外だと有効ではないことが示される 既存のキーフレーズ生成モデルを用いて文書を展開しても、ドメイン内学習データがない場合には効果がないことが示され、キーフレーズ生成のためのドメイン適応の必要性