Time-Out: Temporal Referencing for Robust Modeling of Lexical Semantic Change

Haim Dubossarsky, Simon Hengchen, Nina Tahmasebi, Dominik Schlechtweg https://www.aclweb.org/anthology/P19-1044/

単語の意味が時間によって変化する問題をモデリングする
- TR Temporal Referencing
- skip-gram with negative sampling (SGNS)とPPMIによるモデリングに焦点を置く
- lexical semantic change (LSC) 単語の意味変化
モデル
- 埋め込みを用いたLSC検出
- 低次元ベクトルに単語の意味を埋め込む
  - 異なる2つの期間のコーパスで学習し、それぞれの埋め込みのマッピングを学習
  - A, Bはそれぞれの異なる期間で学習した単語埋め込み
  - WはBWとAとのユークリッド距離の2乗を最小化するマッピング行列
  - このベクトルはSingular Value Decompotisionによって解く
  - LSCにおいて、意味の変化度合いは単語に対するベクトル上のコサイン距離によって測る
    - AとBW*のcos distance
- 性能は良いがノイズに弱いという欠点がある
- PPMIによる手法
- 出現数と共起関係に基づく
  - PPMI: Positive Pointwise Mutual Information 自己相互情報量
  - 非常に高次元で疎な配列で表現し、PPMIによって重みづけされる
- この手法は非常に直接的に表現できているという利点がある
  - 高次元で疎なため計算が大変
- Temporal Referencing: TR
- すべての時間でのコーパスから学習した単語表現を使う
  - 扱いたい時間軸における単語のペアを考える
  - embedding, PPMIどちらにも適用できる手法
  - アライメントを考慮する必要がない
合成データを作って評価
- sense injectionと呼ぶ手法
- 制御可能である利点
実験
- COHA, COCAと合成データで実施
- SGNSとPPMIそれぞれにTRを適用有無で比較
- 一応TRは有効だが特にembeddingに対して大きな改善
実装 https://github.com/Garrafao/TemporalReferencing
(解説がシンプルすぎるので実装を見た方が良さそう)

knok / acl-2019-reading

Time-Out: Temporal Referencing for Robust Modeling of Lexical Semantic Change #109