Detecting Concealed Information in Text and Speech

Shengli Hu (Cornell University) https://www.aclweb.org/anthology/P19-1039/

テキストと音響特徴から情報隠匿を検出
- 産業界、政界などでのスキャンダルを対象
- 問題設定としてはそもそも情報が乏しい
- まずコーパスを作成
- 人間はどれぐらい検出できるのか、どうやったら改善できるか、MLではどうかといったことを検討
データセットの作成
- 現実問題そのものではなく模倣したタスク設定
- ワインのブラインド評価ゲーム
  - エキスパートに評価について論じてもらう
  - 49セッションを合計41人で実施
  - 参加者の性別、母語等の情報も収集
    - 88%は英語話者
    - 61%は認証のあるソムリエ
- まず音声を収集、テキストに起こす
- 音声に話者IDを付与
- 音素単位で区切る
- 話者による推測と正解を付与
- 164時間分のデータ
- train/dev/test ;= 70:10:20
- 5-foldクロスバリデーションを実施
特徴抽出
- 音響特徴 (MFCC)
- 言語特徴
- LIWC (Linguistic Inquiry and word count)
  - 語彙を抽象化してカテゴリ化
- ルールベースの言語特徴
  - ワインに特化したコーパスをベース
- 長さ、n-gram, 単語埋め込み(GloVe)
分類タスクで実験
- ロジスティック回帰、ランダムフォレスト
- GloVe+BiLSTM+MLPによるディープなモデル
- マルチタスク学習とも比較
- F1スコアによる結果比較
- 様々な特徴を組み合わせたマルチタスク学習で人間より15.23%高い結果
課題
- より良い問題設定
- 特にどの特徴が効いているかの分析

knok / acl-2019-reading

Detecting Concealed Information in Text and Speech #104