Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis

[hkefka385]

0. 論文

Journal/Conference: ACL 2020 Title: Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis Authors: Minh Hieu Phan, Philip O. Ogunbona URL: https://www.aclweb.org/anthology/2020.acl-main.293/

1. どんなもの？

Aspect ExtractionとSentiment Analysisが組み合わさったAspect-based sentiment analysis (ABSA)のタスクにおいて，これまでの既存モデルでは構文情報が活用されていない，Aspect wordsとContext wordsの関係を上手く捉えきれていないといった問題があった． 上記の問題に取組むために，BERTなどのContextualized Pre-training Language modelと，Dependency embeddingやPOS embeddingを組み合わせたEnd-to-endのモデルを提案．

SemEval2014のデータセットでspect抽出，感情分類ともに比較手法よりも高い精度を達成．

2. 先行研究と比べてどこがすごい？

対象となる語と周辺の語との関係を捉えるために，統語構造を活用することに着目して，dependency 距離を用いた重み付けを行うことで本タスクの精度改善を行った点． 大量のcomparative methodsやAblation modelsとの精度比較を行うことで本モデルの有用性について検証した点．

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

SemEval-2014 Task4のデータセットを用いて検証した結果，Aspect抽出とAspect Sentiment分類の2つのタスクに比較手法よりも高い精度を達成．

特に，BERTなどのcontextualized pre-training LMだけを用いた結果と比較して，統語情報を考慮したモデルを作成することで大幅に精度向上を達成．（BERTなどのモデルでは不十分なタスクであることを明らかにした．）

5. 議論はある？

6.次に読むべき論文は？

メモ

Abst Aspect-basedのsentiment分析 (ABSA)：Aspect抽出とsentimentのクラス分け 既存モデルの問題 ・Aspect抽出と感情分析が１つのタスクで行われていない ・構文情報が活用されない ・multi-word aspect termsの複数単語の検出が難しい ・aspect wordsとcontext wordsの相関関係を説明ができない → POS embedding, dependency based embedding, contextualized embeddingの3つを組み合わせたモデルを提案したaspect抽出の性能を向上 → SemEval-2014において性能を検証

1 Introduction Aspect-based sentiment分析 (ABSA)：Aspect抽出 (AE)とsentiment分析 (ASC)の2つのサブタスクから構成 Aspect抽出の研究：(Xu et al., 2018; Da’uand Salim, 2019; Poria et al., 2016) Aspect Sentiment分類の研究：(Zeng et al., 2019; Huang et al., 2018;Song et al., 2019; Thet et al., 2010) 最新のapproach：(He et al.,2019; Wang et al., 2018; Li et al., 2019)

マルチモデルにすることでover headと複雑さを引き起こすので，performanceを低下 BERTやRoBERTaの手法では，multi-word aspectsの境界線を決定することまではできない → contextualized embedding (BERT)にsyntactical information embeddings (統語embedding)を結合するモデルを提案 → 提案モデル：contextualized syntax-based aspect extraction(CSAE)：Roberta + POS embedding + dependency-based embedding + self-attention

Biqing Zeng, Heng Yang, Ruyang Xu, Wu Zhou, andXuli Han. 2019. Lcf: A local context focus mecha-nism for aspect-based sentiment classification.Ap-plied Sciences, 9(16):3389の手法ではlocal contextから遠い単語の重みdown weightする手法だが，2つの単語間の単語数を単に相対距離としており、構文情報を加味していない → 本研究では，2つの単語間の構文木における最短経路 (syntactic relative distance SRD)を用いて，ASC (LCFS-ASC)というモジュールを導入し統語的特徴の重要性を検証

2 Related Work ・Word-embedding based model TD-LSTM (Target-dependent LSTM)：context words とtarget wordをvector空間に埋め込む Duyu Tang, Bing Qin, Xiaocheng Feng, and Ting Liu.2015. Effective lstms for target-dependent sentiment classification.arXiv preprintarXiv:1512.01100

・Contextualized Pre-training Language model ASBA問題へのBERT応用 AEN-BERT：BERTを用いてターゲットとテキストシーケンスのvectorを用いて取得 Youwei Song, Jiahai Wang, Tao Jiang, Zhiyue Liu, andYanghui Rao. 2019. Attentional encoder networkfor targeted sentiment classification.arXiv preprintarXiv:1902.09314. LCF-BERT：Biqing Zeng, Heng Yang, Ruyang Xu, Wu Zhou, andXuli Han. 2019. Lcf: A local context focus mecha-nism for aspect-based sentiment classification.Ap-plied Sciences, 9(16):3389 → これまでの研究では，BERTモデルのre-trainingが行われていたが，本研究ではtrainingを行わない

3 Proposed Method contextual sentence S：n tokens (w単語) m aspect terms：A y：{positive, negative, neutral}

3.1 Aspect Extraction BIOタグを割り当てが出力となる contextualized syntax-based aspect extraction (CASE) model

3.1.1 Input representation CLS + Input sequence + SEP

3.1.2 POS Embedding 単語数のnのsequence v_P (pos embedding) → self-attention → 入力のPOS embeddingを取得

3.1.3 Dependency-based Embedding dependency-based embeddingを用いて：Omer Levy and Yoav Goldberg. 2014. Dependency-based word embeddings.InProceedings of the52nd Annual Meeting of the Association for Compu-tational Linguistics (Volume 2: Short Papers), pages302–308 各target word wとその修飾語 mのContext C = {(m ,rel)}を構築

3.1.4 Fine-tuning Procedure cross-entropy損失で学習

3.2 Aspect Sentiment Classification Contextual sentence (n) 単語n と extracted aspect terms A={a} (m) →　Positive, Neutral, Negativeかを推定

3.2.1 Input Representaiton S: Contextual Sentences A：Aspect terms Global context：G = [CLS] + S +[SEP] + A + [SEP] Local Context L：[CLS] + S + [SEP]

3.2.2 Local Context Focus Local context vectors：v (n) CDW/CDMを用いて，無関係な語をmasking Biqing Zeng, Heng Yang, Ruyang Xu, Wu Zhou, andXuli Han. 2019. Lcf: A local context focus mecha-nism for aspect-based sentiment classification.Ap-plied Sciences, 9(16):3389

・Relative Distance 依存関係のツリーの最短距離で測定

・Context dynamic mask (CDM) local context V：syntactic relative distance (SRD)の閾値に基づいてwordをmasking

・Context dynamic weighting (CDW) 距離に基づいてcontextへの重み付けを変動

・Fine-tuning Procedure

4 Performance Evaluation 4.1 Dataset SemEval-2014 Task4

4.2 Baseline models いっぱい

4.3 Model Variations

5 Experiments 6 Results and Analysis 6.1 Aspect Extraction 6.1.1 Main Results Talbe3：Aspect Extractionのみの結果 CSAEモデルはBiLSTMとDTBCSNNモデルよりも優れた性能

6.2 Aspect Sentiment Classification 6.2.1 Main Results Table4：Aspect Sentiment Classificationの結果 CDM / CDWの効果が顕著であることがわかる

6.2.2 Analysis of SRD’s Effects by visualizing attention scores

7 Conclusion 統語構造を活用することで、文脈モデルが従来のASCとAEの両方の作業を改善できることを示した 依存性ベースの構造を用いて、対象のアスペクト語を修正する重要な感情語に着目することを可能にした。 この大幅な改善は、最近の文脈化されたエンベッディングモデルの構文的特徴を「理解する」という点での性能の低さを浮き彫りにし、より多くの構文学習文脈化エンベッディングの開発における将来の方向性を示唆するものである