Aspect-Based Sentiment Analysis using BERT

リンク

https://paperswithcode.com/paper/aspect-based-sentiment-analysis-using-bert

著者/所属機関

Emanuel H. Silva/Institute of Mathematics and Computer Sciences, University of Sao Paulo, Brazil

投稿年

2021

概要：

【研究背景】

Sentiment analysis(意見分析)はNLPの一分野であり、テキストをネガティブ、ニュートラル、ポジティブといったカテゴリに分類するもの。ユーザがどのようにある製品、ブランド、アイデア、トピックについて感じたり考えたりすることは、企業や研究にとって貴重な情報源。

難しいのが一つの文に複数のAspectが含まれてることがある。

スマートフォンのカメラは素晴らしが、画面がとても小さいというテキストは「カメラ」というアスペクトには肯定的だが、「画面」というアスペクトには否定的である。

ABSA(Aspect-Based Sentiment Analysis)では、BERT(Bidirectional Encoder Representations from Transformers)を利用して、感情分析を行なっている。BERTはテキストの文脈を左右の両方から考慮して処理するTransformerに基づいた双方向のエンコーダ表現を探索することで、より意味的なテキスト表現を生成する。最近の研究では、ABSAのほとんどが、異なるBERT Fine-tuning戦略を探索している。

【提案手法】

2020年に紹介されたBERTベースの言語モデルトレーニングのための新しいアーキテクチャ「Decoding-enhanced BERT with Disentangled Attention(DeBERTa)」を用いて、文書中んお単語の位置に基づく意味的な表現と、構文的な表現を分離して学習することで、意味分析におけるアスぺクトとセンチメントの相互依存性を自然に取り組むことができる。Disentangled representation learning(DRL) は、各ニューロンが他のニューロンと独立した完全な機能を学習でき、現実世界のオブジェクトを説明する因子で表現される。DRLはコンピュータビジョン分野で広く使われており、テキストデータに関しては、あまり開拓されていない。

【用語メモ】

Aspect-Based Sentiment-Analysis(ABSA)
Decoding-enhanced BERT with Disentangled Attention(DeBERTa)
Disentangled representation learning(DRL) disentangled representationとは? 直訳すると「解きほぐされた特徴表現」。例えば、「AIが猫を認識できる」ということは、「猫の特徴を理解した」ということだが、「猫の特徴」といっても大雑把すぎる。それを具体的に細分化して「顔が丸い」とか「耳が整っている」とかなどの考え方が「desentagled representation」すなわち「特徴の解きほぐし」である。
ACC(Accuracy)は、正解率とも呼ばれ、全体の予測結果のうち、正解の割合を表す指標。具体的には、全てのデータに対して、正解と予測が一致しているデータ数を全体のデータ数で割ったもの。
F1スコアとは、分類問題における評価指標の一つで、適合率と再現率を組み合わせた指標。

実験

データセット

Semevalベンチマークデータセット（Pontiki et al.、2014）を使用このタスクには、laptopとrestaurantのレビューの2つのデータセットがある。データセットには、ユーザがアスペクトとそれらの品質に基づいて、laptopまたはrestaurantの体験を評価する5,936サンプルと3つの感情(positive,negative,neutrul)が含まれている。

実験はトレーニングデータ80%、検証には20%を使用

結果

感想

Disentangled representationは、テキストデータに対してどのようなものがあるだろうか？
ABSAは社会的にも研究する意義あるなと思った
BERTの論文もしっかり読もう
参考

-https://webbigdata.jp/post-3328/

kennishida17 / academic_paper