-
## 一言でいうと
誤字脱字に強い分散表現の提案。fastTextをベースにして、ミススペルの単語と本物の単語の分散表現を近づけるLossの項を導入している。ミススペルについては、別途辞書を用意する(このため教師ありとの併用の側面がある)。
### 論文リンク
https://arxiv.org/abs/1905.09755
### 著者/所属機関
Bora Ediz…
-
## 一言でいうと
Skip-gramのコンテキストは周辺語しか考えていないけどそれを一般化する話。具体的には、コンテキストとして依存関係を用いて実験を行った。実験を行ったところ、依存関係ベースのembeddingsは周辺語ベースのものに比べて機能的類似性が高いことがわかった。
### 論文リンク
https://levyomer.files.wordpress.com/2014/04/…
-
## 一言でいうと
異なる性質を持つembedding集合を組み合わせてmeta embeddingを得る話。具体的には5つのembedding集合(HLBL, Huang, GloVe, CW, word2vec)を4つの手法(CONC, SVD, 1toN, 1toN+)で組み合わせて実験。これにより、単語類似度タスク、アナロジータスク、POSの性能が向上した。また組み合わせることでボキャブ…
-
Possibilities:
- One-hot character embedding
- One-hot word embedding
- word2vec
-
Hi Ottokart,
Thank you for making this work available. I have a couple questions:
1) The parameter: this represents the size of a single BiRNN layer. Have you tried stacking layers on top of ea…
-
Consider summing/meaning word-embeddings for simple models
-
Hi. I was looking at `create_embeddings.py` to see how you derived char embeddings directly from word embeddings.
It looks like you equate a char embedding with the average of all word vectors that…
-
It may be better to train embeddings for the string data beforehand in a separate model and write it to disk, and re-use those embeddings when training the Recommender Model?
see: [Word Embeddings …
-
While updating NEAT to use the most recent grape release, @justaddcoffee and @hrshdhgd and I took a look at what we're using to generate node embeddings based on pretrained word embeddings like BERT e…
-
requests.exceptions.ConnectionError: HTTPConnectionPool(host='212.129.155.247', port=80): Max retries exceeded with url: /embedding/cn_tri_fastnlp_100d.zip (Caused by NewConnectionError(': Failed to e…