Universal Sentence Encoder

[DaikiTanak]

https://arxiv.org/abs/1803.11175

[DaikiTanak]

Skip-thoughtでunsupervised learning -> supervised sentence classificationによって得たモデルの重みを使ってsentence embedding作れるよ、というもの。 モデルはtransformerとdeep averaging network(word embedding平均するだけ)の2種類を試した。