Active learningとmisinformationの検知という観点の論文はぜひ読みたい
Sreyasee Das Bhattacharjee, Ashit Talukder, andBala Venkatram Balantrapu. 2017. Active learningbased news veracity detection with feature weight-ing and deep-shallow fusion. In2017 IEEE Inter-national Conference on Big Data (Big Data), pages556–565. IEEE.Sreyasee Das Bhattacharjee,
William J Tolone, andVed Suhas Paranjape. 2019. Identifying malicioussocial media contents using multi-view context-aware active learning.Future Generation ComputerSystems, 100:365–379.
2 Related works
MC-Dropoutの適用手法：Balaji Lakshminarayanan, Alexander Pritzel, andCharles Blundell. 2017. Simple and scalable predic-tive uncertainty estimation using deep ensembles. InAdvances in Neural Information Processing Systems,pages 6402–641
Prior-Networkの導入：Andrey Malinin and Mark Gales. 2018. Predictive un-certainty estimation via prior networks. InAdvancesin Neural Information Processing Systems, pages7047–7058.
NLPでの不確実性推定の応用
・Li Dong, Chris Quirk, and Mirella Lapata. 2018. Confi-dence modeling for neural semantic parsing. InPro-ceedings of the 56th Annual Meeting of the Associa-tion for Computational Linguistics (Volume 1: LongPapers), volume 1, pages 743–753.
・Yijun Xiao and William Yang Wang. 2018. Quanti-fying uncertainties in natural language processingtasks.arXiv preprint arXiv:1811.07253
Active Learningと不確実性
Aditya Siddhant and Zachary C Lipton. 2018. Deepbayesian active learning for natural language pro-cessing: Results of a large-scale empirical study.InProceedings of the 2018 Conference on Empiri-cal Methods in Natural Language Processing, pages2904–2909.
Active Leaningと誤情報識別
Sreyasee Das Bhattacharjee, Ashit Talukder, andBala Venkatram Balantrapu. 2017. Active learningbased news veracity detection with feature weight-ing and deep-shallow fusion. In2017 IEEE Inter-national Conference on Big Data (Big Data), pages556–565. IEEE.Sreyasee Das Bhattacharjee,
William J Tolone, andVed Suhas Paranjape. 2019. Identifying malicioussocial media contents using multi-view context-aware active learning.Future Generation ComputerSystems, 100:365–379.
0. 論文
Journal/Conference: ACL 2020 Title: Estimating predictive uncertainty for rumour verification models Authors: Elena Kochkina, Maria Liakata URL: https://arxiv.org/abs/2005.07174
1. どんなもの？
デマを検知するモデルに不確か性 (データの不確か性 + モデルの不確か性)を考慮するために損失関数や分散を推定し，単純にフェイクかどうかを判定するのではなく不確か度の高いものを検知するモデルを考案
2. 先行研究と比べてどこがすごい？
フェイクニュースの観点で不確か性を考慮されたことはない．さらに人間のファクトチェックを考えるとたしかに，フェイクニュース検知において不確かさの考慮は重要
3. 技術や手法のキモはどこ？
様々な不確か性推定の基準を取り入れ，どのような基準がうまく効いているかを検証している
4. どうやって有効だと検証した？
一定の不確か性でサンプルを除去する教師なしモデル，様々な不確か性を特徴として不確か度が高いかどうかを学習するメタ教師ありモデルの2つを学習し，これらの予測精度を比較
5. 議論はある？
時間が経過するにつれて (投稿量が増えていくに連れ) 予測の不確実性が向上している：投稿量などが増えるにつれて話題が変遷したりし，見るべき場所が多くなるため？この点を加味しての発展系は考えられそう．
6.次に読むべき論文は？
Active learningとmisinformationの検知という観点の論文はぜひ読みたい Sreyasee Das Bhattacharjee, Ashit Talukder, andBala Venkatram Balantrapu. 2017. Active learningbased news veracity detection with feature weight-ing and deep-shallow fusion. In2017 IEEE Inter-national Conference on Big Data (Big Data), pages556–565. IEEE.Sreyasee Das Bhattacharjee, William J Tolone, andVed Suhas Paranjape. 2019. Identifying malicioussocial media contents using multi-view context-aware active learning.Future Generation ComputerSystems, 100:365–379.
メモ
モデルの信頼性を意味する不確実性の部分も推定するモデルを提案 不確実性を数値することで，人間のファクトチェックについて優先順位をきめることができる
1 データの不確実性 (aleatoric)とモデルの不確実性 (epistememic)を考慮 不確実性の高いデータを除去することで精度の向上を目指す
2 Related works MC-Dropoutの適用手法：Balaji Lakshminarayanan, Alexander Pritzel, andCharles Blundell. 2017. Simple and scalable predic-tive uncertainty estimation using deep ensembles. InAdvances in Neural Information Processing Systems,pages 6402–641 Prior-Networkの導入：Andrey Malinin and Mark Gales. 2018. Predictive un-certainty estimation via prior networks. InAdvancesin Neural Information Processing Systems, pages7047–7058.
NLPでの不確実性推定の応用 ・Li Dong, Chris Quirk, and Mirella Lapata. 2018. Confi-dence modeling for neural semantic parsing. InPro-ceedings of the 56th Annual Meeting of the Associa-tion for Computational Linguistics (Volume 1: LongPapers), volume 1, pages 743–753. ・Yijun Xiao and William Yang Wang. 2018. Quanti-fying uncertainties in natural language processingtasks.arXiv preprint arXiv:1811.07253
Active Learningと不確実性 Aditya Siddhant and Zachary C Lipton. 2018. Deepbayesian active learning for natural language pro-cessing: Results of a large-scale empirical study.InProceedings of the 2018 Conference on Empiri-cal Methods in Natural Language Processing, pages2904–2909.
Active Leaningと誤情報識別 Sreyasee Das Bhattacharjee, Ashit Talukder, andBala Venkatram Balantrapu. 2017. Active learningbased news veracity detection with feature weight-ing and deep-shallow fusion. In2017 IEEE Inter-national Conference on Big Data (Big Data), pages556–565. IEEE.Sreyasee Das Bhattacharjee, William J Tolone, andVed Suhas Paranjape. 2019. Identifying malicioussocial media contents using multi-view context-aware active learning.Future Generation ComputerSystems, 100:365–379.
3 Methodology 3.1 baseline model: branch-LSTM RumorEval2019で提案されたモデル：会話ツリーを枝の1つとしてLSTMで学習，各木のクラス確率を平均化
3.2 softmax層の出力を用いて不確実性を計算：Least ConfidenceSampling, Margin of Confidence, Ratio of Confi-dence and Entropyの4つの方法があり
Data Uncertainty (ここの理解が微妙) モデル自体の損失に加えて，データごとにモデルでの出力が安定しているか？安定していないのか？を分散として表現してモデルに加える
Model Uncertainty テスト時にドロップアウトを適用し，複数回行うことでモデルの予測の不確実性を推定
教師ありと教師なしの２つでインスタンスの除去を行う 教師なし：不確かさが高いインスタンスの一部を削除 教師あり：得られた不確かさの推定値などの特徴量をもちいて，メタ分類器の作成→不適切と判断されたインスタンスを除去
3.4 時間とともにツイートが増えていくことから不確実性がどのように変遷していくのか追跡
3.5 Calibration：モデル間の比較が直接できるように 信頼度スコアがどの程度calibratedされているかを評価するためにECCスコアなどを用いて評価
5 コード？ https://github.com/kochkinaelena/Uncertainty4VerificationModelsin
6 6.1 教師なしの手法によるrejectionごとの性能比較
6.2 教師ありの手法も含めての精度比較 PHEMEについてRecallよりも高精度を優先させるために閾値バウンダリを行い，閾値を変化させ調整させることでうまくいく可能性がある
5.3 図5:PHEMEのデータセットから，投稿とともに不確か性はどの程度なのいか？また，ノードのスタンスがどうなのかをラベル付け，可視化 会話が長くなると不確実性が向上するという結果→会話の話題が変化したため？ここらへんに改良する余地がありそう
5.4 クラスごとの不確実性はTrueラベルの不確実性は低く，Falseなどのラベルについては不確実性が高い Non-Rumorクラスが最も高い不確か性が高いという結果は，不確か性とクラス精度や頻度との逆相関を持っているという結果に沿う感じに
今後の発展 時間経過を組み込んだ不確かさの変遷についての分析，それを考慮したモデルの考案