Disentangled Representation Learning for Non-Parallel Text Style Transfer

Vineet John, Lili Mou, Hareesh Bahuleyan, Olga Vechtomova (University of Waterloo) https://www.aclweb.org/anthology/P19-1041/

言語モデルにおけるスタイルとコンテンツの潜在表現をdisentangle
- 非パラレルコーパスから学習
- NN機械学習における潜在表現は解釈困難
- これに対する取り組みdisentangleing
- 特に画像分野では進んでいる
  - 顔の向きや照明の当たり方といったものを制御できる
- 自然言語分野ではあまり調査が進んでいない
- この論文ではテキスト生成における潜在空間のdisentangleに取り組む
- autoencoderベース
- content(テキストの意味そのもの)とstyleに表現をdisentangleする
  - ここでの問題設定としては、styleはsentimentとする
  - マルチタスクと敵対的な目標の組み合わせで実現
  - マルチタスク損失によって潜在空間にencodeしたい情報が含まれることを保証させる
  - adversarial損失では潜在空間にencodeしたくない情報を最小化
- 先行研究ではstyle空間については扱われていることが多い
- 一方でコンテンツ空間については考慮されていない
- 逆翻訳におけるcycle consistencyはコンテンツを明確に扱っている
- しかし離散空間での強化学習を介して行う必要があり、学習が難しい
- BoW特徴に基づいてコンテンツ情報の近似を行う
- スタイルに依存しない
- 従来のスタイル指向補助損失LBoWマルチタスク損失、BoW敵対的損失の組み合わせでstyle, contentsのdisentangleを実現する
- 獲得できたスタイル潜在表現は直接テキストスタイル転送に使える
- あるセンテンスを、同じcontentで異なるスタイルにする
- 学習は非パラレルコーパスで行う
- ただしスタイルについてのラベルは付与されている
構造
- 一般的なautoencoder(determisticなのでDAEと論文では呼んでいる)とVAEについて
- Bowman et al., 2016によると、VAEの方がDAEと比べより流ちょうなテキスト生成を可能としていると
- 補助タスクとして、スタイルの分類を行う
- MLP+softmax
- 損失関数はテキスト生成(cross-entropy)と分類損失を合わせたものになる
- adversarial loss for style
- マルチタスク損失はスタイルの情報を潜在空間に与えることを保証するためのもの
  - このままではコンテンツ空間にもスタイル情報がまじってしまう
- discriminatorの損失関数
  - エンコーダー用パラメータ(θ_E)をこちらは持たない
- 敵対的学習の目的関数
  - これを最大化する
- コンテンツのためのマルチタスク損失
  - BoWの分布y_cを予測する
  - 目的関数
- コンテンツのための敵対的損失
  - discriminator
  - 敵対的損失は以下を最大化
- 最終的な損失関数
  - 訓練の流れ
- 推論方法
- 対称の入力xをエンコーダに与えることでスタイルベクトルsとコンテンツベクトルc*が得られる
- 求めたいスタイルベクトルs^を計算
- s^とc*を結合してデコーダに渡すことでスタイル転送結果を得る
実験
- データセット: Yelp Service Review, Amazon Product Review
- DAE, VAEで学習し、潜在空間をt-SNEで可視化する
- disentangleができていそう
- スタイル転送の評価
- 指標: Style-Transfer Accuracy (STA), コサイン類似度(CS), Word overwrap(WO), Perplexity(PPL), Geometric Mean(GM), 人手評価
- 自動評価の結果
- 人出評価の結果
  - (自動評価はあまり人手の評価を反映できていない)

実装: https://sites.google.com/view/disentangle4transfer

knok / acl-2019-reading

Disentangled Representation Learning for Non-Parallel Text Style Transfer #106