Semi-supervised sequence tagging with bidirectional language models

事前学習済みの双方向ニューラル言語モデルの出力をSequence tagging taskのモデルの学習に組み込むことによって性能改善を試みた研究。CoNLL2003のNER taskとCoNLL2000のCunking taskにおいて提案手法の有用性を示した。また、事前学習済みモデルの重みをどこに組み込むのか、どの事前学習モデル(CNN, RNN)が後段のsequence tagging taskに有効か、などの調査を行っている。結果として、ForwardにCNN, BackwardにLSTMを用いた事前学習済みモデルの出力を、2層目のLSTMの出力と結合するのがベストという結果。