Teaching Machines to Read and Comprehend, Hermann+, NIPS 2015

[AkihikoWatanabe]

https://arxiv.org/abs/1506.03340

[AkihikoWatanabe]

だいぶ前に読んだので割とうろおぼえ。

CNN/DailyMailデータセットの作成を行なった論文（最近Neuralな文”書”要約の学習でよく使われるやつ）。 CNN/DailyMailにはニュース記事に対して、人手で作成した要約が付与されており、要約中のEntityを穴埋めにするなどして、穴埋め問題を作成。 言文書をNeuralなモデルに与えて、どれだけ回答できるかという話。

スタンフォードによる追試がある 詳しい解説 by 久保さん

追試によると、評価で使用している穴埋め問題は単純なモデルで提案モデルの性能を上回ったりしている。また、この穴埋め問題のうち54%は単純な質問とのマッチで回答可能であり、25%は人でも正解不能らしい（正解率のupper boundは75%）。by 久保さんのスライド のちの研究で、ほぼこの上限に達する精度が達成されてしまったので、このデータセットはQAタスクではほぼ攻略された状態だという。