tanaka504 / Multi-turn_Response_Generation

0 stars 0 forks source link

Does the Language Model score of generated response become useless ? #15

Closed tanaka504 closed 5 years ago

tanaka504 commented 5 years ago

最終的な生成文に対する言語モデルスコアって使えないん? 既に最適化されてる説ある? 対話行為毎の言語モデル用意して,生成文に対してそれぞれの言語モデルスコアを算出してロスに組み込む 対話行為予測の出力の(gumbel) softmaxと生成文に対する言語モデルスコアの行列を乗じると 予測対話行為とその対話行為の言語モデルスコアが高まると最終スコアが高まり, 予測対話行為が間違っている or 生成文が対話行為の特徴を捉えられていないと最終スコアが低まる