cfiken
commented
5 years ago リライトの実験結果
Coreference について
高い精度で解決できている。
Omission (省略や欠損の補完) について
対話システムとの統合
Task-Oriented と Chitchats (CPS) での実験結果。 Task-Oriented は Intention Precision の精度を、Chitchats は CPS (1セッションごとに何ターン対話をするか) を指標としている。
0. 論文
タイトル
Improving Multi-turn Dialogue Modelling with Utterance ReWriter
リンク
https://arxiv.org/abs/1906.07004 https://github.com/chin-gyou/dialogue-utterance-rewriter (2019/08/26 時点ではコード未公開)
著者
Hui Su, Xiaoyu Shen, Rongzhi Zhang, Fei Sun, Pengwei Hu, Cheng Niu, Jie Zhou
投稿日付
ACL 2019
1. どんなもの？
対話モデルの課題として、過去の複数ターンのやり取りのコンテキストを保ったまま対話を続けるのが難しいというものがある。本研究では、ユーザの発話を「過去の発話のコンテキストを含むようにりライト」することで、コンテキストを保持したまま複数ターンの対話を可能にするアプローチを提案した。 例えば、「どんな映画が好き?」「タイタニック。」「なぜ?」という会話があったときに、次の応答を予測したいとすると、「なぜ?」->「なぜタイタニックが好きなの?」とリライトしてやることで、過去の発話を参照しなくともコンテキストを保ったまま対話を続けることが出来る。 より具体的には、発話リライトモデルとして Transformer と Pointer Network ベースのモデルを提案し、学習後に既存の chatbots に組み込むことで元のシステムよりも改善が見られた。
2. 先行研究と比べてどこがすごい？
3. 技術や手法のキモはどこ？
4. どうやって有効だと検証した？
下記のパターンで実験を行った。
Transformer で pointer (lambda) が最もよく、テストデータで exact match がリライトありデータで 55%, リライトなしデータで 98% のスコアに。ほかは表参照。
また、学習した rewriter モデルを対話システムに統合し、既に動いている Task-Oritend なモデルと雑談モデルで統合あるなしの比較を行ったところ、両方で改善が見られた。
5. 議論はある？
6. 次に読むべき論文は？