Divide, Conquer and Combine: Hierarchical Feature Fusion Network with Local and Global Perspectives for Multimodal Affective Computing

[knok]

Sijie Mai, Haifeng Hu, Songlong Xing (Sun Yat-sen University) https://www.aclweb.org/anthology/P19-1046/

• マルチモーダルを扱うために、分割統治なアプローチ Hierarchical Feature Fusion Network (HFFN)を提案
  • 言語、画像、音響の3つのモダリティを扱う
  • Attentive Bi-directional Skip-connection LSTM (ABS-LSTM)を提案
• 手法
  • Local Fusion Model(LFM), Global Fusion Model(GFM), Emotion Inference Module(EIM)が主要なコンポーネント
  • Local Fusion
  • sliding windowを適用してオーバーラップさせつつ局所的な情報に分割
  • 一つの同じウィンドウには複数のモーダルの情報を含む (chunk)
  • 同じchunk同士を外積する
    • divide, conquerの処理に該当
  • Global Fusion
  • Local fusionで得られた特徴、LSTMのセル出力、隠れ状態を結合、FCN+tanhで双方向に行う
    • Wh, Wcはパラメータ, c, hはセル出力、隠れ出力
    • Xiはlocal fusionの出力、これらを直接c, hと結合することで生の局所情報も扱う
    • γはアテンション
    • aは非線形活性化関数(この研究ではReLUを採用)
  • 最終的な特徴量
    • σはシグモイド
  • Glocal Interaction Attention (GIA)
  • W, bはパラメータ
  • hl^aはアテンションのかかった状態の隠れ状態
  • Emotion Inference Module
  • 最終出力
    • fはtanh + dropout(50%)
• 実験
  • データセット: CMU-MOSI, CMU-MOSEI, IEMOCAP
  • 発話を含む動画に感情ラベルが付与されている
  • 特徴量の事前抽出は https://github.com/soujanyaporia/multimodal-sentiment-analysis を使用
  • 言語特徴はword2vec+text-CNN
  • 音響特徴はopenSMILEを使用
  • 結果はすべてのベースライン超え
  • 採用するモダリティを増減させた場合の結果
  • すべてのモダリティを組み合わせるのが最も良い
  • 一番重要なモダリティはテキスト
  • 他の手法と比較すると極めて遅い(TFNと比較して511倍の時間がかかる)