shin-kanouchi / japanese-dialog-paper

日本語の対話関連論文読破のためのリポジトリ
1 stars 0 forks source link

[NLP2019]ノウハウ質問応答におけるニューラル読解モデルの評価 #97

Open shin-kanouchi opened 5 years ago

shin-kanouchi commented 5 years ago

論文リンク

http://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P4-9.pdf

著者

○山本航平, 前田竜冶, 陳騰揚, 川畑修人, 大川遥平, 宇津呂武仁 (筑波大), 河田容英 (ログワークス)

shin-kanouchi commented 5 years ago

概要

そこで本論文で は,ノウハウに関する質問応答データセットを人手で 作成し,読解モデルを適用することによって,ノウハ ウ質問応答モデルの訓練・評価を行う.

はじめに,日本語での就職活動のノウハウに関する 質問応答を例題として,人手で質問応答データセット を作成する.次に,日本語における事実に関する質問 応答約 20,000 事例 [6] で構成された訓練・評価事例, および,ノウハウに関する質問応答約 500 事例で構 成された訓練・評価事例を用いて読解モデルの訓練を 行った.事実に関する質問応答事例のドメイン,およ び,ノウハウに関する質問応答事例のドメインの 2 ド メイン間でドメインを横断する読解モデルの性能評価 を行った.

最後に,「就職活動」に ついてのノウハウ質問応答事例を教師データとして訓 練した読解モデルを用いて,「花粉症」「,結婚」「,虫歯」,「食中毒」,「マンション」の全く異なる話題のノウハウ 質問応答タスクへの適用可能性の評価を行った.教師 データである「就職活動」についてのノウハウ質問応 答タスクと比べるとやや劣るものの,ほぼ同等の性能 であることがわかった.この結果から,ノウハウ質問 応答タスクにおいては,異なる話題の間で読解モデル の横断的適用がある程度可能であることがわかった.

モデル https://arxiv.org/pdf/1611.01603.pdf

本論文では,その中で も,大規模の読解データである SQuAD [4] に適用さ れてきたモデルある BiDAF [5] を用いる.BiDAF は, 質問文とコンテクストを入力として,コンテクスト中 において,質問に対する回答の開始位置と終了位置を 予測するモデルである

image

image

(10min)