[2020] SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics

[osuossu8]

論文リンク

https://arxiv.org/abs/2005.04114

公開日（yyyy/mm/dd）

2020/05/08

概要

• 構成的なセンチメントセマンティクスを効果的に捕捉するBERTの変種である SentiBERT を提案

• 文脈化された表現と二値構成要素の構文解析木を組み合わせて、意味的な構成を捉える

• フレーズレベルのセンチメント分類において競争力のある性能を達成していることを実証

• SST上のフレーズレベルのアノテーションから学習した文意構成が、他の文意分析タスクや感情分類タスクなどの関連タスクにも適用可能であることを示した

• ベースラインアプローチよりも否定と対比関係の捕捉に優れている

• 有効性と移植性

公式実装

(20200523 時点では not available ...) https://github.com/WadeYin9712/SentiBERT

[osuossu8]

---

senti bert のアーキテクチャ

• モジュール i : BERT エンコーダ (バックボーン)

• モジュール i i : Attention 機構に基づく意味合成モジュール

  • 第一層（トークンへの注意）: トークンに基づき各フレーズの表現を作成
  • 第二層（子への注意）：子に基づいて第一層から得られたフレーズ表現を洗練させる

• モジュール i i i : フレーズレベルのセンチメント予測器

• loss 関数はクロスエントロピー関数

[osuossu8]

• 課題 "Frenetic but not really funny. "

  • この文の2つの部分は "but "で結ばれており、センチメントの変化を明らかにしている
  • 「not」という単語は、「本当に面白い」という感情を変化させている
  • 否定や対比は文が複雑な場合扱いが難しい
  • 表現のセンチメントは、トークンやフレーズの意味と、それらの構文的な組み合わせによって決まる

• 先行研究

  • 再帰的ニューラルネットワーク
  • これは、子ノードの局所情報を集約して親ノードの表現を生成しているため、文脈間での豊かな関連性を見落としているという問題

• 提案手法

  • SentiBERT
  • バイナリ構成要素の構文解析木をレバレッジ
  • トランスフォーマーベースのニューラルネットワークモデル
  • BERT 上にシンプルな Attention 機構ネットワークを構築
  • マスク言語モデル化により文脈情報を捕捉
  • フレーズノードのセンチメントラベルを予測することで意味の構成を学習させる
  • Stanford Sentiment Treebank (SST)上でのフレーズレベルのセンチメント分類の結果（Socherら、2013）は、SentiBERTが再帰的ネットワークやベースラインのBERTモデルに比べて有意に改善

  • フレーズ単位でのセンチメントラベルの教師データを得るのは高価なので、あるタスクから学習した構成的センチメントセマンティクスが他のタスクに移行できるかどうかをさらに調査

    • SST上で訓練されたSentiBERTが以下の他の関連タスクにうまく移行できることを発見
    • twitterセンチメント分析
    • 感情強度分類
    • 文脈的感情検出

[osuossu8]

• 関連研究

  • センチメント分析のセンチメント分類器の構築

    • 特徴量ベースの手法
    • 再帰ニューラルネットワーク
    • 畳み込みニューラルネットワーク
    • リカレントニューラルネットワーク

  • 事前学習済み言語モデル

    • ELMo
    • BERT
    • SentiLR

  • 構成的意味論

    • 構成的意味論のモデル化のために加算や要素ごとの積のような操作を導入 (Mitchell and Lapata (2008))

[osuossu8]

• Attention to tokens

  • 各トークンの平均化された表現をクエリとして扱い、各トークンとの相関関係に応じて注目度の重みを割り当てる
  • 重み付けされた合計oiとqiを連結
  • フォワードネットワークに供給
  • 構成トークンの表現に基づいて、フレーズ vi ∈R d の初期表現を得る
  • 注意機構の詳細は以下
  • SeLU

[osuossu8]

• Attention to Children

  • 構成要素解析木と第１層で得られた表現に基づいて、第２層でのフレーズ表現を精緻化する
  • 階層構造に基づいて情報を集約するために、以下のようなネットワークを構築
    • 注目ネットワークは、各フレーズについて、二値構成要素解析木の子や自分自身との相関を計算
    • i 番目のフレーズの子ノードのインデックスを lson と rson
    • 第 1 層から生成されたそれらの表現は、それぞれ vi, vlson, vrson
      • clson = Attention(vi , vlson)
      • crson = Attention(vi , vrson)
      • ci = Attention(vi , vi)
      • rlson, rrson, ri = Softmax(clson, crson, ci)
    • フレーズiの洗練された表現は、fi = rlson - vlson + rrson - vrson + ri - vi
    • 重み付けされた合計 fi と vi を連結
    • SeLU, GeLU, LayerNorm を用いた FFN に送る
    • 最終的なフレーズ表現 pi ∈ R d を生成
  • ｉ番目のフレーズの子がトークンノードである場合、注目機構は、トークンノードがカバーするすべてのサブトークンの表現に注目する

[osuossu8]

• 実験

  • SSTデータセット上でSentiBERTを評価　(有効性と移植性)

  • SST-phraseは、2値構成要素ツリー上の全フレーズのセンチメントを予測する5クラス分類タスク

    • 最大長 128
    • 層数 12
    • 埋め込み次元 768
    • lr 2e-5
    • bs 32
    • epoch 3

  • マスキング機構は

    • SentiWordNet から検索可能な語をマスクする確率は 20%
    • それ以外は 15%

  • 下流タスクの finetune は

    • lr {1e-5 ~ 2e-4}
    • bs {16, 32}
    • epoch 1 ~ 5

  • 文レベルのセンチメントと感情分類タスクでは、[CLS] トークンを対象とするのではなく、ツリーのルートを正しくラベル付けすることが目的であることに注意

[osuossu8]

[osuossu8]

[osuossu8]

[osuossu8]

メモ

• SentiBERTが構成的センチメントセマンティクスをどのように効果的に捉えているかを調査
• 構成要素ツリーの子と親が異なる感情を持っている場合（すなわち、感情スイッチ）に、SentiBERTの表現がどのように感情を捕捉するかに焦点
• センチメントスイッチが多いほど予測は難しくなると仮定
• 両子のセンチメントラベルが親ノードと異なる場合（すなわち、局所的な難易度が2の場合）、SentiBERTとBERT/w/Tree-LSTMとの性能差は約7%の精度
• SentiBERTは、平均プーリングを持つベースラインのBERTモデルを15%も上回る
• 否定 no」「n't」「not」などの否定語が感情の切り替えを引き起こすため、否定語の数も文の理解の難しさや構成要素を反映
• 否定語の数で文をグループ化し、それぞれの構成要素に対する予測精度を計算
• テストセットでは、否定語の数が最大でも6個であり、否定語が3個以上の文が少ないため、データを3つのグループに分けた
• 否定語の数が増えるにつれて、SentiBERTと他のベースラインとの差が大きい
  • 否定を扱う際のSentiBERTの能力を示している
• but を含み、左右で感情が異なるものをピックアップ
• SentiBERTは他のBERTよりも約1%優れており、文中の対照的な関係を捉える能力を示している
• SentiBERTはフレーズの感情に寄与する「熱狂的」や「面白い」などの形容詞に注目