LearningWord Meta-Embeddings by Autoencoding

[50kawa]

一言で言うと

手法やコーパスの違う事前学習した単語分散表現を組み合わせることでいい分散表現を生成

論文リンク

http://aclweb.org/anthology/C18-1140

著者/所属機関

Cong Bao and Danushka Bollegala Department of Computer Science University of Liverpool

投稿日付(yyyy/MM/dd)

2018/

概要

単語分散表現はword2vec等の手法によって大規模コーパスから事前学習される。 手法、コーパスによって分散表現に含まれる情報が異なるので、それらの情報を 共有する分散表現(meta-embedding)を作りたい meta-embeddingを作ることで既存の分散表現より性能向上 オートエンコーダーを利用することで既存のmeta-embeddingより性能向上

新規性・差分

オートエンコーダーを利用してmeta-embeddingを生成する手法を提案

手法

Decoupled Autoencoded Meta-Embedding (DAEME)

E1,E2,D1,D2は一層のfeed-forward、デコーダに入る中間層はそれぞれ別

Concatenated Autoencoded Meta-Embedding (CAEME)

デコーダへの入力は共通

Averaged Autoencoded Meta-Embedding (AAEME)

結果

2つの分散表現の特徴をうまく合わせることでよりいい分散表現を生成 オートエンコードを利用することでさらにいい結果

コメント

性能があまり良くならなかったと感じた