Open ymym3412 opened 5 years ago
Unsupervised Learning of Style-sensitive Word Vectors Reina Akama∗1, Kento Watanabe†2, Sho Yokoi∗‡3, Sosuke Kobayashi§4, Kentaro Inui∗‡5
発話中での単語のスタイルを教師なしで学習する手法
語のスタイルの類似度の学習に初めてフォーカスした
「拙者」という語に対して「ござる」といった、発話中における語の意味ではなくスタイルの類似度を学習する教師なしの手法。 通常のCBOWはwindow内の語を文脈語として学習するが、提案手法ではwindow「外」をスタイルの文脈として単語ベクトルを学習する。
新たにデータを収集し、単語ペアについてスタイルが類似しているかを10人のアノテータでアノテーションを行った。 アノテーション結果とモデル出力結果のスピアマン相関係数を測ると提案手法は通常のCBOWを大きく上回っていた
スタイルと文法を別々のベクトルで同時に学習させていくと、スタイルと文法の特徴をうまく分離して学習できる
Generating stylistically consistent dialog responses with transfer learning Reina Akama, Kazuaki Inada, Naoya Inoue, Sosuke Kobayashi, and Kentaro Inui.
0. 論文
Unsupervised Learning of Style-sensitive Word Vectors Reina Akama∗1, Kento Watanabe†2, Sho Yokoi∗‡3, Sosuke Kobayashi§4, Kentaro Inui∗‡5
1. どんなもの？
発話中での単語のスタイルを教師なしで学習する手法
2. 先行研究と比べてどこがすごい？
語のスタイルの類似度の学習に初めてフォーカスした
3. 技術や手法のキモはどこ？
「拙者」という語に対して「ござる」といった、発話中における語の意味ではなくスタイルの類似度を学習する教師なしの手法。 通常のCBOWはwindow内の語を文脈語として学習するが、提案手法ではwindow「外」をスタイルの文脈として単語ベクトルを学習する。
4. どうやって有効だと検証した？
新たにデータを収集し、単語ペアについてスタイルが類似しているかを10人のアノテータでアノテーションを行った。 アノテーション結果とモデル出力結果のスピアマン相関係数を測ると提案手法は通常のCBOWを大きく上回っていた
5. 議論はある？
スタイルと文法を別々のベクトルで同時に学習させていくと、スタイルと文法の特徴をうまく分離して学習できる
6. 次に読むべき論文は？
Generating stylistically consistent dialog responses with transfer learning Reina Akama, Kazuaki Inada, Naoya Inoue, Sosuke Kobayashi, and Kentaro Inui.