Named Entity Recognition With Parallel Recurrent Neural Networks

short summary

NERにおいて、1つの大きなLSTMを使うのではなく、複数のLSTMを使って、各出力をconcatし、fc層、softmaxに通すことで予測を行うモデルの提案。パラメータ数を削減しつつ、SOTAレベルの精度。

工夫として、各LSTMの以下の図のWcが、

互いに直行するように制約をかけることで各LSTMが多様な出力をするようにしている。

のだが、vecあたりの操作がよくわからない。（LSTMのパラメータWcをベクトル化しているという理解であっているならどういう操作しているのか）

author

Andrej Zukov-Gregori ˇ cˇ ‡ , Yoram Bachrach† , and Sam Coope DigitalGenius, 1 Canada Square, London E14 5AB ‡Department of Computer Science, Royal Holloway, University of London, Egham TW20 0EX andrej.zukovgregoric.2010@live.rhul.ac.uk yorambac@gmail.com sam@digitalgenius.com

URL

http://aclweb.org/anthology/P18-2012

year

ACL2018(short)

kacky24 / papers