hkefka385 / paper_reading

3 stars 1 forks source link

Out of the Echo Chamber: Detecting Countering Debate Speeches #86

Open hkefka385 opened 4 years ago

hkefka385 commented 4 years ago

0. 論文

Journal/Conference: ACL 2020 Title: Out of the Echo Chamber: Detecting Countering Debate Speeches Authors: Matan Orbach, Yonatan Bilu, Assaf Toledo, Dan Lahav, Michal Jacovi, Ranit Aharonov, Noam Slonim URL: https://www.aclweb.org/anthology/2020.acl-main.633/

1. どんなもの?

近年のフェイクニュース急増から,エコーチェンバー現象を軽減するための取り組みが多く行われている.こういった現状から,その人の主張に対して適切な反論を示す技術が重要である. 本研究では,特定のテキストに適切なカウンターテキストを探索するタスクとそれに適したデータセットを提案し,既存のモデルや手法でどの程度の探索が可能かを検証する.

2. 先行研究と比べてどこがすごい?

3. 技術や手法のキモはどこ?

特定のトピックに関する議論での特定の主張に対して,カウンターテキストを探索するというタスクと,そのためのデータセットを構築.

4. どうやって有効だと検証した?

適切なカウンターテキストを探索する実験で,既存の複数モデルや手法(BERTや相互情報量など)を用いて検証.BERTなどによるモデルでは精度が低く,最も精度が高いモデルは相互情報量やJensen-Shannon divergenceによるものが精度が高い結果となった.しかしながら,モデルによる精度よりも人間による評価が高く,難しいタスクといえる.

5. 議論はある?

導入が量子コンピュータの話で,「え、読む論文間違えた?」みたいな感じになった.この論文の6章で,本論文で提案したデータセットで可能な研究について様々な観点から述べており,様々な研究を行える可能性がありそう.

6.次に読むべき論文は?

メモ

Abst Echo Chamberを軽減することを目的としたタスクを提案:メインの内容に対して対抗する内容を検出 3685件のSpeechのデータセットを提案して,いくつかのモデルを試して検証

1 Introduction 導入が量子コンピュータの話でえ、間違えた??ってなったよね 特定の視点に異議を唱えるような論拠を提示 目的:カウンターテキストの検出 長いテキストのアノテーションの難しさ:Tamar Lavee, Lili Kotlerman, Matan Orbach, YonatanBilu, Michal Jacovi, Ranit Aharonov, and NoamSlonim. 2019a. Crowd-sourcing annotation of com-plex NLU tasks: A case study of argumentative con-tent annotation. InProceedings of the First Work-shop on Aggregating and Analysing CrowdsourcedAnnotations for NLP, pages 29–38, Hong Kong. As-sociation for Computational Linguistics 4分程度のスピーチを用いて検証:反対のtalkingを特定することを目的 人間の方が自動化手法よりも圧倒的に精度が高いことがわかった

新しいNLUタスクを導入 自動手法の訓練と評価

2 Related Work 1つの主張から最良の反論を探索するタスク:Henning Wachsmuth, Shahbaz Syed, and Benno Stein.2018. Retrieval of the best counterargument with-out prior topic knowledge. InProceedings of the56th Annual Meeting of the Association for Com-putational Linguistics (Volume 1: Long Papers),pages 241–251, Melbourne, Australia. Associationfor Computational Linguistics → 本研究では同じ内容を議論しているスピートの特定を行い,感情分析手法を用いて対立するスタンスの存在を探索し,反対意見を特定

この問題を3つの段階で分割すると ・各スピーチで行われいる議論の特定 Shachar Mirkin, Guy Moshkowich, Matan Orbach,Lili Kotlerman, Yoav Kantor, Tamar Lavee, MichalJacovi, Yonatan Bilu, Ranit Aharonov, and NoamSlonim. 2018b. Listening comprehension over ar-gumentative content. InProceedings of the 2018Conference on Empirical Methods in Natural Lan-guage Processing, pages 719–724. Association forComputational Linguistics ・異なるスピーチで発見された議論同士の関係を特定 () John Lawrence and Chris Reed. 2019. Argument min-ing: A survey.Computational Linguistics, 0(ja):1–55. これらの研究では論証間の攻撃関係の検出やモデリングや関係の描写,反論の生成など多くが行われている ・議論レベルの関係に基づいて最良の応答スピーチを選択

欠点:大量のアノテーション作業が必要となる点 現実では単純に反対意見を探索するだけでは不十分な場合も:議論の譲歩など

目的:議論レベルから全文レベルへと粒度を拡大するためのフレームワークの提案であり・長い対話全体からカウンタースピーチの検出である (カウンタースピーチ内の正確性な反論検出よりも) 対応するデータセットとベンチマークを伴った挑戦的な新しいNLUタスクを示唆 / フェイクニュースなどエコーチェンバーなどの状況に対応

3 Data Dataset Structure 各スピーチは1つの内容について議論:supporting or opposing speech Counter speechには2種類:explicit or implicit Fig1:各スピーチの構造について Supporting speechを録音:1797件の支持スピーチ Opposing Speech:賛成スピーチに対する反対スピーチの録音

4 Human Performance 同じことに関する議論:支持演説が1つ、反対演説が3~5つの候補が出題 理由を選択してもらい, その後に,クラウドソーシングFigure-Eight crowd sourcingで60の質問をサンプリングしタスクを設定 専門家の平均精度:86% クラウドワーカーの平均精度は低い

Reason analysis Fig2:Counter speech選択の理由の分布

5 Counter Speech Identification 5.1 Setup Data:329 motions 1102 supporting, 1708 opposing speech Table2:データ全体の統計量

Settings:

5.2 Methods

5.3 Results Table3 BERTなどの精度が顕著に低いという珍しいタスク (様々なComparative methodsと比較しても最も精度が低い) Jensen-Shannon divergenや相互情報量などの単純な手法による分類の方がうまくいくという結果 最高精度でも人間によるアノテーションの方が精度が高く, データもExplicitとImplicitで大きな精度差が見られる

6 Futher Research Potential Author atrribution:スピーチを作成したユーザに関する研究 (データにはユーザの注釈)や音声データなのでマルチモーダル的な研究も可能 Topic identification:スピーチのトピック抽出などの研究が可能 Sentence ordering or local coherence :文書の順序付けタスクなど

7 Conclusion