Knowledge Enhanced Contextual Word Representations

[icoxfog417]

一言でいうと

BERTに知識グラフ(構造知識)を組み込む研究。Word Pieceの表現を線形変換=>メンションスパン分集めてpooling=>スパン間でSelf-Attention=>候補エンティティ表現の重み付き平均をとりスパン表現に加算=>Word PieceのSelf-Attention時にこれを参照、という流れ。

論文リンク

https://arxiv.org/abs/1909.04164

著者/所属機関

Matthew E. Peters, Mark Neumann, Robert L. Logan IV, Roy Schwartz, Vidur Joshi, Sameer Singh, Noah A. Smith

• Allen Institute for Artificial Intelligence
• University of California
• Paul G. Allen School of Computer Science & Engineering, University of Washington

投稿日付(yyyy/MM/dd)

2019/9/9

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

こちらを応用した固有表現識別のツール

http://hazyresearch.stanford.edu/bootleg/