Open agatan opened 5 years ago
ACL 2018? 固有表現抽出をシンプルな手法で解いて SoTA を達成した。
LSTM のパラメータ数は hidden state の次元の自乗で増える。 この論文ではパラメータを減らすために、小さい LSTM を並列に並べるという手法を提案している。 N 次元の LSTM を (N / 3) 次元の LSTM 3 ならべたほうが、 N ^ 2 → `(N ^ 2) / 9 3` で安い。 さらに個々の LSTM の weight の相関を損失に加えることで、ちゃんと別の特徴量を得られるように工夫している。
N ^ 2
ACL 2018? 固有表現抽出をシンプルな手法で解いて SoTA を達成した。
LSTM のパラメータ数は hidden state の次元の自乗で増える。 この論文ではパラメータを減らすために、小さい LSTM を並列に並べるという手法を提案している。 N 次元の LSTM を (N / 3) 次元の LSTM 3 ならべたほうが、
N ^ 2→ `(N ^ 2) / 9 3` で安い。 さらに個々の LSTM の weight の相関を損失に加えることで、ちゃんと別の特徴量を得られるように工夫している。