Using New York Times Picks to Identify Constructive Comments, EMNLP2017

[fujiso]

概要

建設的なコメントか否かの分類の話．明示的にラベル付けされたデータがないので，実サービス上で専門家が選定したコメントを利用する． SVMでF1スコア0.84の分類精度を得られた．

著者

Varada Kolhatkar, Maite Taboada

リンク

https://www.sfu.ca/~mtaboada/docs/publications/Kolhatkar_Taboada_EMNLP2017_WS.pdf
(emnlp2017のworkshop)

貢献

• 明示的にラベル付けされていない既存データを元に，建設的なコメントであるかの判定を学習
• New York Times Picksのコメントが，建設的なコメントを判別できる

手法

コメントに対して，明示的に建設的か否かのラベル付けされたデータがないので，次のコメントを用いて学習．テストデータはKolhatkarらがクラウドソーシングにて作成．

• 建設的なコメント(正例)：
  New York Times Picksのコメント
• 建設的でないコメント(負例) :
  Yahoo News Annotated Comments Corpusの建設的でないスレッドの中のコメント

※ New York Times Picks (NYT Picks)について
NYTでは，ニュース記事に対して読者コメントが寄せられるが， そのコメントの中から，代表となるコメントを専門家が選択して，NYT Picksに掲載される(らしい)

※ Yahoo News Anno-tated Comments Corpusについて
Yahoo!Newsのコメントのスレッド(議論)に対して，建設的な議論か否かのラベル付けがされているデータセット．関連研究参照

実験

SVMやbiLSTMを用いて二値分類を行う．

SVMの素性は

• 1-4gramのtf-idf
• 文の長さ (長い方が建設的)
• 副詞句などの議論によく出る語彙
• 固有表現の数
• 読みやすさのスコア (先行研究[3]によるスコア付け)

結果

素性組み合わせたSVMが強い． 文の長さに関する素性が特徴的で， 単体だとTF-IDFに迫るレベルで強いが，他の素性と組み合わせるとF1スコアは下がるらしい．

Future work

• 新しい素性を考える． 顔文字を使用したり，Named-entityの素性を改良したり
• 建設的なコメントと有害なコメント(誹謗中傷とか？)の関係を調べる
• 建設的なコメントを抽出するシステムの開発

関連研究

[1] #3 Constructive language in news comments

[2] Finding Good Conversations Online: The Yahoo News Annotated Comments Corpus http://www.aclweb.org/anthology/W17-0802

[3] Supporting comment moderators in identifying high quality online news comments. http://www.umiacs.umd.edu/~elm/projects/commentiq/commentiq.pdf

[fujiso]

New York Times Picksの選定基準を調べたい．何をもって代表コメントとしているのだろうか．