[Reading] Entity Recognition at First Sight: Improving NER with Eye Movement Information

一言でいうと

眼球運動のデータを固有表現抽出に用いた研究．

論文リンク

https://www.aclweb.org/anthology/N19-1001

掲載誌名or会議名/出版年

NAACL 2019

概要

眼球運動には言語的な情報が含まれていることが示唆され，実際に言語の基礎解析および大域的情報を推定するタスク（ sentiment analysis が論文では例にあげられている）でその有効性が示されているが，高次の意味を問うタスク（ここでは情報抽出）においても有用な情報源となることを示した．

テキストに対して眼球運動ログを付与したコーパスがすでに存在していて（Dundee, GECO, ZuCo），それらに対して固有表現のアノテーションを付与した（タグは LOC, PER, ORG）
ニューラルネットを学習した
得られた gaze feature （眼球情報から得られる特徴量）を test time （眼球情報が得られない状況）において利用する方法を示した

眼球の特徴量は Basic, Early, Late, Context に分類され，それぞれ以下のような項目がある．

眼球特徴はニューラルネットワークに入力される際に量子化されているとあるが，ここの具体的な内容がよくわからなかった（後で調べる）．

貢献

色物感があるが，眼球運動を使った実験をかなり手広くやっている．眼球運動コーパス３種類および CoNLL2003 のコーパスを用いて in-dataset / cross-dataset な実験をしている．

手法

基本的には Lample の LSTM-CRF で，眼球特徴量が word-level LSTM の入力に追加されている．

テスト時には type aggregation(n 個の単語 w に対する眼球特徴の平均を単語 w の特徴量とする) を用いることで眼球運動データがないデータでも眼球特徴量を利用できるようにしている．

結果

眼球運動データが付与されているコーパスについては以下４手法で比較を行っている．眼球特徴はあった方が性能がよいが， aggregation が効いているのかどうかはこの実験からはわかりにくい．

baseline (Lample)
with gaze
type individual (コーパス内で type aggregation を行う)
type combined (コーパスをまたいで type aggregation を行う)

一方で CoNLL 2003 コーパスには眼球運動データが付与されていない．この場合には type combined を行う他ない． type combined な設定でベースラインよりよい性能を報告している．なんか P/R/F いずれも異様に高くてなんだろうと思っていたら CoNLL 2003 コーパスで 10 分割交差検証していた．多分この影響．

他にもコーパス間の比較をしたり眼球運動データが付与されたコーパスで学習したモデルを CoNLL 2003 で評価したりしている．

かなりたくさん実験をしている，という印象．既存タスクにマルチモーダルな特徴量を入れる研究をトップカンファレンスに通すためには手広く実験をすることが大前提なのかなと感じた．

himkt / survey