Enhancing Cross-target Stance Detection with Transferable Semantic-Emotion Knowledge

hkefka385 commented 4 years ago

0. 論文

Journal/Conference: ACL 2020 Title: Enhancing Cross-target Stance Detection with Transferable Semantic-Emotion Knowledge Authors: Bowen Zhang, Min Yang, Xutao Li, Yunming Ye, Xiaofei Xu, Kuai Dai URL: aclweb.org/anthology/2020.acl-main.291/

1. どんなもの？

複数のターゲットに対するスタンス検出モデルタスクを，ソースタスクのデータで学習しターゲットタスクで評価する転移学習で取り組んだ研究．ターゲット間のknowledge transferを行うために，グラフ構造の外部知識を導入し，ドメインに依存しない文脈を取得できるモデルを提案し，SemEVal-2016 Task6のデータで検証．

2. 先行研究と比べてどこがすごい？

cross-target stance detectionのためのモデルとして，意味辞書SenticNetとEmoLexという単語と感情のデータによるグラフを構築しGCNを用いて取得したembeddingを外部知識としたモデルを提案．更に，外部知識と，ターゲットのスタンスを予測するための文章と結合するために，Bidirectional LSTMを拡張した．

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

SemEVal-2016 Task6のデータを用いることで学習とは異なるターゲットでも外部知識を活用することで，最新の手法を有意に上回ることが示された．

5. 議論はある？

6.次に読むべき論文は？

メモ

複数のターゲットに対するスタンス検出モデルタスクを，ソースタスクのデータで学習しターゲットタスクで評価する転移学習で取り組んだ研究．ターゲット間のknowledge transferを行うために，グラフ構造の外部知識を導入し，ドメインに依存しない文脈を取得できるモデルを提案し，SemEVal-2016 Task6のデータで検証．

Abstract 外部知識をbridgeとして利用し，異なるターゲット間でのknowledge transfer行うモデルを提案：SKET (Semantic Knowledge Transfering) modelを提案外部の意味-感情 lexiconからグラフを構築し，単語と感情のmulti-hop semantic connectionを学習学習されたグラフの保湯元はsource domainとtarget domainの間のgapを埋めるための事前知識としての役割

1 Introduction ターゲット間のスタンス検出のcross-target stance detection Penghui Wei and Wenji Mao. 2019. Modeling trans-ferable topics for cross-target stance detection. InProceedings of the 42nd International ACM SIGIRConference on Research and Development in Infor-mation Retrieval, pages 1173–1176. ACM 共通語や概念レベルの知識を利用して異なるターゲット間の知識ギャップを埋める 2つの課題・SNSの場合ドメインに依存しない共通語を抽出するのが困難・暗黙の状況を表現する言葉と文脈情報を区別できない可能性

→ 領域横断的なstance detectionモデル (SKET)を提案・semantic-emotion graph (SE-Graph)を外部知識を組み込んで構築・GCNを用いてmulti-hopの意味的な接続を捉えたグラフ表現を学習・Bi-LSTMを拡張して，外部知識のSE-Graphと接続

SemEval-2016 Task6を用いて評価

２Related work 2.1 In-domain Stance Detection 発信者の情報をAttentionを用いて結合：Jiachen Du, Ruifeng Xu, Yulan He, and Lin Gui. 2017.Stance classification with target-specific neural at-tention networks. International Joint Conferenceson Artificial Intelligence two-phase RNN method (non-neural textをフィルター，分類)：Kuntal Dey, Ritvik Shrivastava, and Saroj Kaushik.2018. Topical stance detection for twitter: A two-phase lstm model using attention. InEuropean Con-ference on Information Retrieval, pages 529–536.Springer Multi-targetのスタンス検出：Penghui Wei, Junjie Lin, and Wenji Mao. 2018. Multi-target stance detection via a dynamic memory-augmented network. InThe 41st International ACMSIGIR Conference on Research & Development inInformation Retrieval, pages 1229–1232. ACM

2.2 Cross-target Stance Detection 単語レベルの伝達に焦点ターゲットを組み込んでターゲット固有の単語を学習する手法：Chang Xu, Cecile Paris, Surya Nepal, and Ross Sparks.2018. Cross-target stance classification with self-attention networks. InProceedings of the 56th An-nual Meeting of the Association for ComputationalLinguistics (Volume 2: Short Papers), pages 778–78 2つのターゲットが共有する概念レベルの知識の利用：Penghui Wei and Wenji Mao. 2019. Modeling trans-ferable topics for cross-target stance detection. InProceedings of the 42nd International ACM SIGIRConference on Research and Development in Infor-mation Retrieval, pages 1173–1176. ACM.

2.3 Incorporating External Knowledge

3 Our Methodology 3.1 Task Definition and Model Overview X = {x, p}N (s: ソースドメイン) x：input text p：target y：stance label

3.2 Semantic-Emotion Knowledge graph Construction source と domainの橋渡しとしてexternal knowledgeを利用 SE-graphの構築・words or emotion tagやemotion lexiconをノードに共起頻度に応じてエッジを構築・意味辞書SenticNetの全単語をノードとして構築し，意味でエッジを付与・EmoLexでsentinetの単語に感情タグを付与して，感情と単語の各タグにエッジを付与 → 感情タグがグラフに多くのエッジを持つようになる → 単語タグのエッジの重みをre-scale行う重要な単語に関する情報をグラフとして取得可能

3.3 SE-graph Emebedding 各ノードの埋め込みをGCNを用いて学習：k-hop subgraphの情報を用いて学習 e.q.1：Chen Zhang, Qiuchi Li, and Dawei Song. 2019a.Aspect-based sentiment classification with aspect-specific graph convolutional networks.arXivpreprint arXiv:1909.03477

3.4 Knowledge-enhanced BiLSTM sentence x, target pをBi-LSTMに入力としtarget aware sentence representationを学習 knowledge enhanced Bi-LSTMモデルを提案 (KE-BILSTM) 2つの動機・普段利用されない単語も外部の意味情報で学習できる・動的な相互作用パターンを活用 Fig2：KE-LSTMの構造各単語を入力とした通常のLSTMの動き (e.q.2 - 5) knowledge memoryの学習 (e.q.6 - e.q.9) 次ｎステップへの出力 (e.q.10 - e.q.11)

3.5 Stance Detection KE-LSTMによって得られたsentenceをtargetを用いてattentionを求めて，embeddingを算出 (e.q.12 - 13)

4 Experiments 4.1 Experimental Data 異なるターゲエット間のスタンス検知 8つのcross-target stance detection taskを構築 (DT→HC, HC→DT, FM→LA, LA→FM, TP→HC,HC→TP, TP→DT, DT→TP)

4.2 Evaluation metrics F1-Scoreの算出

4.3 Implementation details

4.4 Baseline methods ・BILSTM ・BiCond ・CrossNet ・BERTなど

4,5 Overall Performance Table2, 3：F1_ave, F1_min BERTの性能は安定していない：knowledge transfer strategfyを明示的に採用していないことが原因か？提案手法の良い点・外部知識を活用するために，GCNベースのモデルを開発・外部知識をより融合させるためLSTMユニットの提案

4.6 Hops数に関する調査：2 or 3がbetter

5 Error Analysis ランダムに100個抽出して，どういった誤りが存在するのかについて調査・新規用語に関する情報を取得できないことによるエラー (Trumpや NBCなど) ・ハッシュタグが特殊な意味を与えている (データを補強することが必要？)

liuzc188 commented 1 year ago

hi, 请问你有代码吗？谢谢~

beautygirl-c commented 1 year ago

Hello, I would really like to know if there is a corresponding code for this literature

hkefka385 / paper_reading