Open junya-takayama opened 5 years ago
発話に対応した内容語を応答文にうまく出せるようなデコード方法を提案
Generating More Interesting Responses in Neural Conversation Models with Distributional Constraints
Ashutosh Baheti, Alan Ritter, Jiwei Li, and Bill Dolan
2018/11
最尤推定を用いて text-to-text 生成モデルを構築すると，応答生成などの多対多タスクではありきたりな応答（dull response）を生成しがちになる． 入力文によく対応する内容語を出力させるために，本研究では最尤推定結果に加えて入力文と出力文の ・トピック一貫性 sim(P(T|X),P(T|Y)) ・意味的類似度 sim(Emb(X), Emb(Y)) を考慮したデコード手法を提案
入力文のトピック推定結果のみを用いた既存モデルに対し，本研究では入力と出力両方のトピック推定結果をデコード時に逐次的に用いており，より内容語が出やすくなっている
訓練 ：OpenSubtitles テスト：Cornell Movie Dialogue Corpus
BLEU, distinct, 人手など
MMI: 応答と入力の相互情報量を最大化するモデル TA-seq2seq: 入力文のトピック推定結果を Attention 計算に用いるモデル
一言でいうと
発話に対応した内容語を応答文にうまく出せるようなデコード方法を提案
論文リンク
Generating More Interesting Responses in Neural Conversation Models with Distributional Constraints
著者
Ashutosh Baheti, Alan Ritter, Jiwei Li, and Bill Dolan
会議日付
2018/11
概要
最尤推定を用いて text-to-text 生成モデルを構築すると，応答生成などの多対多タスクではありきたりな応答（dull response）を生成しがちになる． 入力文によく対応する内容語を出力させるために，本研究では最尤推定結果に加えて入力文と出力文の ・トピック一貫性 sim(P(T|X),P(T|Y)) ・意味的類似度 sim(Emb(X), Emb(Y)) を考慮したデコード手法を提案
新規性・差分
入力文のトピック推定結果のみを用いた既存モデルに対し，本研究では入力と出力両方のトピック推定結果をデコード時に逐次的に用いており，より内容語が出やすくなっている
評価
使用データ
訓練 ：OpenSubtitles テスト：Cornell Movie Dialogue Corpus
評価指標
BLEU, distinct, 人手など
比較手法
MMI: 応答と入力の相互情報量を最大化するモデル TA-seq2seq: 入力文のトピック推定結果を Attention 計算に用いるモデル
結果
コメント