-
This is the assignment of https://github.com/jinzishuai/learn2deeplearn/tree/master/google_dl_udacity/lesson5
* deeplearning.ai video: https://github.com/jinzishuai/learn2deeplearn/blob/master/deep…
-
Hi,
1.How to use the pretrained word representations (word2vec) to initialize the embedding weights?
2.The embedding principle in nmt/tensorflow is CBOW or skip-gram?
Looking forward to your advice…
-
O έλεγχος `fstisstochastic` που περιείχε το `timit_format_data.sh` αποτυγχάνει για το FST που φτιάχνουμε στο βήμα 7 του ερωτήματος 4.2. Αυτό είναι αναμενόμενο ή έχουμε κάνει λάθος σε κάτι;
Το ίδιο …
-
SImilar to skip-gram in your typical word2vec. However in this case the sentence is passed through a RNN encoder, whose output is fed simultaneously into:
- a forward thought RNN decoder : predict …
-
## 0. Paper
@inproceedings{neelakantan-etal-2014-efficient,
title = "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space",
author = "Neelakantan, Arvind and…
a1da4 updated
2 years ago
-
一个句子一轮decode ,Beam Search 阶段的时间复杂度应该是:k·step·|V|
训练迭代很慢,有解决办法吗?
可否像skip-gram的负采样一样,修改目标函数
-
This code looks really interesting.
However, is there a runnable example with the given data?
When running the current code using the example shown:
```
python train.py --embedding-len 64 --bat…
-
## 一言でいうと
目的はskip-gramの高速化とより良いword vectorを得ること。またフレーズに対する学習を行うことも目的としている。高速化のために階層的ソフトマックス、ネガティブサンプリング、サブサンプリングを用いている。結果として、高速化しつつ良いword vectorを得られている。skip-gramに初めてネガティブサンプリングを使った論文のようだが説明が簡素なので、ネガテ…
-
## 0. Paper
@inproceedings{huang-etal-2012-improving,
title = "Improving Word Representations via Global Context and Multiple Word Prototypes",
author = "Huang, Eric and
Socher, Ric…
a1da4 updated
2 years ago
-
**Summary:**
subcharacter information对于中文是有效的,那么日文又如何呢?研究发现subcharacter对于中文的提升效果在日文上并不稳定(我想应该是有片假名和平假名的缘故吧)。但是在一些汉字比较多的场景下,character ngrams效果确实有提高。不过在实验中,发现即使是enhanced skip-gram 也比不上 single-cha…