Joint Embedding of Words and Labels for Text Classification

[kacky24]

short summary

labelもwordのembeddingと同じ空間に埋め込み、labelのembeddingとwordのembeddingの親和性からattentionをかけることで効果的にテキスト分類を行うモデルLEAMの提案。2つのデータセットでSOTAで、3つのデータセットでは他のモデルに少し及ばない結果となったが、計算コストは非常に低い。

各ラベルのembeddingを表す行列Cと文章のembeddingを表す行列Vをかけて"compatibility" Gを導出し、Gからsoftmaxを用いて各単語へのattentionを計算し、Vに掛け合わせてdocument embedding z を出力する。

PTEと概念は似ているが、weightの柔軟性や非線形性の考慮などからこちらのほうがよいらしい

author

Guoyin Wang, Chunyuan Li∗ , Wenlin Wang, Yizhe Zhang Dinghan Shen, Xinyuan Zhang, Ricardo Henao, Lawrence Carin Duke University {gw60,cl319,ww107,yz196,ds337,xz139,r.henao,lcarin}@duke.edu

URL

http://aclweb.org/anthology/P18-1216 https://github.com/guoyinwang/LEAM

year

ACL2018