Sentiment Tagging with Partial Labels using Modular Architectures

Xiao Zhang, Dan Goldwasser (Purdue University) https://www.aclweb.org/anthology/P19-1055/

タスクをサブタスクに分割してモジュール化して処理
- 感情タグ付けタスクを対象
- targeted-sentiment taskと呼んでいるが、aspect-level sentiment analysisを包括している　　
- 複数のエンティティに対して感情極性スコアを付与
- エンティティ検出とそれに対応するスコアづけという2つのタスクに分割できる
  - 問題へのアプローチ方法としては自然
- モジュール化した構造の学習方法の構築を目標とする
- "learning with partial labels"という新しいタスク分割アプローチを提案
  - 出力ラベルをヒエラルキー構造にする
- これによってwealky-supervised lerningが可能となる
  - 部分的なラベル情報だけで学習できる
- このアプローチが典型的な系列ラベリング問題に対して有効であることを示す
- 一般的なLSTM-CRF構造を拡張
- ラベルyの予測を考える
- これは部分的なラベル集合 {y0, y1, ..., yk}からなる
- オリジナルのタスクに対し、異なる観点からのラベルを求めるサブタスクと考える
  - サブタスクはより簡単な問題に分割されているとみなせる
  - それらを集約することで最終的に良い結果を得ることが期待できる
- モジュール化アプローチは教師データ作成の手間を低減できる
- たとえば、エンティティの検出は文法的にある程度決まるので、感情の予測よりは簡単な作業
- このモジュール化の考え方は認知神経科学の"two-stream hypothesis"に着想を得ている
- 視覚と聴覚のシステムは分かれているとする仮説
- (Wikipediaではなぜか英語のこの項目と「背側皮質視覚路」が同じ記事扱い)
  - (背側皮質視覚路はdorsal pathway)
  - "where"を取り扱うdorsal pathwayと"what"を取り扱うventral pathwayから構成される
  - 脳内の画像処理はそういう構造になっているとされている
- "what"と"where"の扱いを分ける、という考え方を取り入れた
構造は基本biLSTM-CRF
タスクの分割の定式化
- 出力空間 y ∈Y, Yは取りうるすべてのタグの集合
- 個々のラベルyは部分ラベル {y0, y1, ..., yk} に分割される
- yを「完全ラベル」と呼ぶ
- すべての部分ラベルkによって完全ラベルが定まる
- "partially labeled data"はその名の通り部分的にラベルが定まったデータ
- partial labelsを2つのサブタスクに用いる
- BIOタグによる系列タギング、エンティティやアスペクトを同定
- 認識タスク: それらと関連付けられたアスペクトの種類や感情極性
- タグy_t は y_t^seg, y_t^typの2種類分割される
組み合わせ方によって3種類のモデルを定義
- Model1: Twofold Modular, LSTM-CRF-T
- 3つの分割されたモジュールによるマルチタスク学習
- Model2: Twofold Modular Infusion (LSTM-CRF-TI)
- Model3: Twofold modular with guided gating (LSTM-CRF-TI(g))
- 2, 3はどちらも2つのサブタスクモジュールからの情報を意思決定モジュールに注入
- 違いは直接注入か、ゲート制御があるか(ゲートもNNによるパラメータ学習モジュール)
損失関数
- 半教師あり学習として一般化できる
- 意思決定モジュールの損失にサブタスクごとの負の対数確率分布を加算
- N: 訓練集合の数
- y^seg, y^typ セグメンテーションタスクとタイプ同定タスク
- α, β: ハイパーパラメータ (どれだけ重視するかの重み設定)
  - 完全ラベルありならそのまま学習すればよい
  - 例えばセグメンテーションデータはあるがタイプデータがないならβ=0とすればよい
  - コーパスのデータの割合を見ながら決めればよい
実験
- データセット: Target Sentiment Datasets (Mitchell et al, 2013のeng, spaツイッターデータ), Aspect Based Sentiment Analysis Dtatasets(SemiEval 2016 Task 5 subtask 1), Subjective Polarity Disambiguation Datasets (SemiEval 2013 Task 2 subtask A)
- データセット上はBIOES形式だがBIO2形式に変換して学習、評価
  - 提案手法 Model 3が最良の結果
- 弱教師ありの効果
- ドメイン転送の効果
弱教師あり学習の効果やドメイン転送に有効なので、将来的には低リソース言語での評価への道筋がたった

knok / acl-2019-reading

Sentiment Tagging with Partial Labels using Modular Architectures #119