TENER: Adapting Transformer Encoder for Named Entity Recognition

Transformerのencoderを固有表現抽出に適用させたモデルを提案。単語レベルの特徴量(word embedding layer)の他に文字レベルの特徴量(CNN layer)を取り入れる。また、従来の方法と同様に、Transformer layerの上にCRFを導入している。