Automatic Evaluation of Local Topic Quality

[knok]

Jeffrey Lund, Piper Armstrong, Wilson Fearn, Stephen Cowley, Courtni Byun, Jordan Boyd-Graber, Kevin Seppi (Computer ScienceBrigham Young University, Computer Science, iSchool, LSC, and UMIACS University of Maryland, Computer Science Brigham Young University) https://www.aclweb.org/anthology/P19-1076/

• トピックモデルに対する自動評価指標の提案
  • トピックモデルの評価指標はトピックコヒーレンスなどでグローバルな評価を行う
  • トークンレベルのトピック割り当てについての考慮がなされていない
    • トークレベルの割り当ては特に下流タスク(分類など)で重要
  • 人間によるトークンレベルの評価とグローバルな自動評価を比較した
  • グローバルな指標は問題がある
  • しかし人手評価は高コスト
  • ローカルな情報を考慮する新しい自動評価指標を提案
    • 人手評価と強い相関のある指標
  • LDAと人手生成トピックの例
  • LDAでは人名が分割されて別々のトピックに分けられてしまっている
  • 文法を考慮したLDAの拡張モデルなどでこの問題に対処した手法がいくつかある
  • それに適用できるような自動評価が必要
• 複数の自動評価指標を提案
  • Topic Switch Percent (SWITCHP)
  • Topic Seitch Variation of Information (SWITCHVI)
  • Window Probabilities (WINDOW)
  • Topic-Word Divergence (WORDDIV)
  • Average Rank (AVGRANK)
• クラウドソーシングで実施した評価とそれぞれの指標とを複数のコーパスで比較
  • SWITCHPがもっとも人間評価との相関性が高い