2つのデータセット (OffeseEval2019とWasteem and Hovy)でabuse detectionの精度を検証，補助タスクとしてSemEval2018のデータセットを用いて感情分類を行って精度を検証．
シングルタスクのモデルやtransfer modelと比較しても高い精度を達成したことを確認．
5. 議論はある？
6.次に読むべき論文は？
userのメタデータネットワークからの特徴を利用して転移学習？：Antigoni Maria Founta, Despoina Chatzakou, NicolasKourtellis, Jeremy Blackburn, Athena Vakali, and Il-ias Leontiadis. 2019. A unified deep learning archi-tecture for abuse detection. InProceedings of the10th ACM Conference on Web Science, pages 105–114. ACM.
1 Introduction
最近の研究では，detecting explicit abuseに着目
Pushkar Mishra, Helen Yannakoudakis, and EkaterinaShutova. 2019b.Tackling online abuse: A sur-vey of automated abuse detection methods.Arxiv:abs/1908.06024
グラフベースのモデル
・Pushkar Mishra, Marco Del Tredici, Helen Yan-nakoudakis, and Ekaterina Shutova. 2018a. Authorprofiling for abuse detection.InProceedings ofthe 27th International Conference on ComputationalLinguistics, pages 1088–1098, Santa Fe, New Mex-ico, USA. Association for Computational Linguis-tics
・Pushkar Mishra, Marco Del Tredici, Helen Yan-nakoudakis, and Ekaterina Shutova. 2019a. Abu-sive Language Detection with Graph ConvolutionalNetworks. InProceedings of the 2019 Conferenceof the North American Chapter of the Associationfor Computational Linguistics: Human LanguageTechnologies, Volume 1 (Long and Short Papers),pages 2145–2150, Minneapolis, Minnesota. Associ-ation for Computational Linguistics
2 Related works
CNNによるモデルが有用だった
Cindy Wang. 2018. Interpreting neural network hatespeech classifiers. In Proceedings of the 2nd Work-shop on Abusive Language Online (ALW2), pages86–92
Character-levelのモデルでSNSの文字切れの問題に取り組む：Pushkar Mishra, Helen Yannakoudakis, and EkaterinaShutova. 2018b. Neural character-based composi-tion models for abuse detection. InProceedingsof the 2nd Workshop on Abusive Language Online(ALW2), pages 1–10, Brussels, Belgium. Associa-tion for Computational Linguistic
userのメタデータネットワークからの特徴を利用して転移学習？：Antigoni Maria Founta, Despoina Chatzakou, NicolasKourtellis, Jeremy Blackburn, Athena Vakali, and Il-ias Leontiadis. 2019. A unified deep learning archi-tecture for abuse detection. InProceedings of the10th ACM Conference on Web Science, pages 105–114. ACM.
感情検知の補助タスクがマルチモデルに有用：Md Shad Akhtar, Deepanway Ghosal, Asif Ekbal,Pushpak Bhattacharyya, and Sadao Kurohashi. 2018.A multi-task ensemble framework for emotion, sentiment and intensity prediction.arXiv preprintarXiv:1808.01216
0. 論文
Journal/Conference: ACL 2020 Title: Joint Modelling of Emotion and Abusive Language Detection Authors: Santhosh Rajamanickam, Pushkar Mishra, Helen Yannakoudakis, Ekaterina Shutova URL: https://www.aclweb.org/anthology/2020.acl-main.394/
1. どんなもの？
SNSの投稿からのAbuse detectionのタスクを取り組む研究がこれまで多く行われてきたが，多くの手法ではテキストの中に存在するユーザの感情などを重要視していなかった． 本研究では，テキストの感情をモデルで捉えるために，テキストの感情分類を補助タスクとして，abuse detectionを本タスクとしたマルチタスクモデルを提案した．
2. 先行研究と比べてどこがすごい？
手法については，既存のマルチタスクに則ったモデルとなるが，Abuse detectionのタスクにおいて感情分類を補助タスクとして検出問題に取り組んだ点が新しい．
3. 技術や手法のキモはどこ？
4. どうやって有効だと検証した？
2つのデータセット (OffeseEval2019とWasteem and Hovy)でabuse detectionの精度を検証，補助タスクとしてSemEval2018のデータセットを用いて感情分類を行って精度を検証． シングルタスクのモデルやtransfer modelと比較しても高い精度を達成したことを確認．
5. 議論はある？
6.次に読むべき論文は？
userのメタデータネットワークからの特徴を利用して転移学習？：Antigoni Maria Founta, Despoina Chatzakou, NicolasKourtellis, Jeremy Blackburn, Athena Vakali, and Il-ias Leontiadis. 2019. A unified deep learning archi-tecture for abuse detection. InProceedings of the10th ACM Conference on Web Science, pages 105–114. ACM.
メモ
Abst abuse detectionの問題 これまでのモデルでは，ユーザの感情状態や影響を無視してきた マルチタスクフレームワークの提案
1 Introduction 最近の研究では，detecting explicit abuseに着目 Pushkar Mishra, Helen Yannakoudakis, and EkaterinaShutova. 2019b.Tackling online abuse: A sur-vey of automated abuse detection methods.Arxiv:abs/1908.06024 グラフベースのモデル ・Pushkar Mishra, Marco Del Tredici, Helen Yan-nakoudakis, and Ekaterina Shutova. 2018a. Authorprofiling for abuse detection.InProceedings ofthe 27th International Conference on ComputationalLinguistics, pages 1088–1098, Santa Fe, New Mex-ico, USA. Association for Computational Linguis-tics ・Pushkar Mishra, Marco Del Tredici, Helen Yan-nakoudakis, and Ekaterina Shutova. 2019a. Abu-sive Language Detection with Graph ConvolutionalNetworks. InProceedings of the 2019 Conferenceof the North American Chapter of the Associationfor Computational Linguistics: Human LanguageTechnologies, Volume 1 (Long and Short Papers),pages 2145–2150, Minneapolis, Minnesota. Associ-ation for Computational Linguistics
本論文：発言者の感情的特性とabuseな発言の検知を共同にモデル化 (マルチタスク学習 MTL) 感情検出を補助タスク + abuse 検知を本タスクとして設定 転移学習したものやシングルタスクモデルよりもマルチタスクモデルが精度を向上
2 Related works CNNによるモデルが有用だった Cindy Wang. 2018. Interpreting neural network hatespeech classifiers. In Proceedings of the 2nd Work-shop on Abusive Language Online (ALW2), pages86–92 Character-levelのモデルでSNSの文字切れの問題に取り組む：Pushkar Mishra, Helen Yannakoudakis, and EkaterinaShutova. 2018b. Neural character-based composi-tion models for abuse detection. InProceedingsof the 2nd Workshop on Abusive Language Online(ALW2), pages 1–10, Brussels, Belgium. Associa-tion for Computational Linguistic userのメタデータネットワークからの特徴を利用して転移学習？：Antigoni Maria Founta, Despoina Chatzakou, NicolasKourtellis, Jeremy Blackburn, Athena Vakali, and Il-ias Leontiadis. 2019. A unified deep learning archi-tecture for abuse detection. InProceedings of the10th ACM Conference on Web Science, pages 105–114. ACM. 感情検知の補助タスクがマルチモデルに有用：Md Shad Akhtar, Deepanway Ghosal, Asif Ekbal,Pushpak Bhattacharyya, and Sadao Kurohashi. 2018.A multi-task ensemble framework for emotion, sentiment and intensity prediction.arXiv preprintarXiv:1808.01216
3 Datasets 2つのabuse dataset detection ・OffensEval2019 (OffensEval) ・Waseem and Holy 2016 (Waseem & Hovy) 1つのemortion detection task：感情検知タスク
4 Approach jointly learning モデルを提案 4.1 Single task learning 2つの異なる
・Max pooling and MLP classifier (STL_maxpool + MLP) Bi-LSTMを用いて，contextualized word representationの獲得 (e.q.1) max_poolingで特徴を取得 (e.q.2) 2layer MLP (e.q.3 - 5) 2値分類なのでbinary Cross-entropy (確率の場合はcategorical corss-entropy)を最小化 (e.q.6)
・BiLSTM and Attention classifier (STL_bilstm + attn) max poolingの代わりにbi-lstmを用いて，attentionに送る (e.q.8-10)
2つのembedding ・GLoVe ・GLoVe + ELMo 2 * 2のベースラインを構築
4.2 Multi-task learning 2つのタスク：abuse detection + sentiment classification 各タスクの重み付けを決定するハイパーパラメータbetaの設定 両方のタスクで交互に更新されるencoderで接続
・Hard Sharing model (MTL_Hard) (Fig.1) 両方のタスクで共有される単一のencoderで構成 + タスク固有の分岐 用いるデータセットは異なるので交互に入力していく？
・Double Encoder Model (MTL_DEncoder) Fig2 2つの2layer bi-lstm encoder を用意：sharedのものと本タスク専用のもの → 合計
・Gated Double Encoder Model (MTL_GatedDEncoder) 合計する際に重み付けを行うパターン
5 Experiments and results 5.1 Experimental setup Training：主なタスクと補助タスクの両方が5epochの訓練を完了 (訓練ステップをランダムに交互に行う)
5.2 STL experiments Table1
5.3 MTL experiments Tabld2
MTL v.s. Transfer learning (Table 3) MTLの代替手段としての伝達学習も考慮
6 Discussion 改善した例をtable 4に表示