What makes a good conversation? How controllable attributes affect human judgments

「良い対話システムとは何か?」について、モデルによる出力制御と人手評価の関係性を調査した研究。出力制御では、次の4つの項目について制御を行なった: 応答の繰り返し, 応答の具体性, 発話と応答の関係性, 質問と応答のバランス。結果として、繰り返しの抑制が良い対話システムを構築するための重要な要素の一つであることを示した。また、人手評価において、interestingness, listeningなどとrepetitive, fluency, making senseなどにはトレードオフの関係があることを示した。対話システムによる評価では、engagingnessとhumanessは同一のものと見なされて評価されているが、今回の実験から、engagingnessとhumanessは全く別物であり、humanessの評価にはengagingness以外の要素も必要であることを示した。