search

gaussic / text-classification-cnn-rnn

CNN-RNN中文文本分类，基于TensorFlow
MIT License
4.16k stars 1.47k forks source link

请问一下词向量是如何训练的 #118

Closed DamonCC closed 4 years ago

DamonCC commented 5 years ago

你好，代码代码里词向量是如何训练的不是很明白，是用的word2vec的方法还是其他方式来调整的词向量呢？TensorFlow嵌入那里只说了运行那两行代码，训练结束后会得到所有词的嵌入，具体怎么调整的能指点一下吗？

DamonCC commented 5 years ago

查了下资料，这里的embedding_lookup当做一个全连接层，参数就是整个词汇表的词向量，既然是全连接层，在反向传播的时候就可以对参数进行更新，所以训练完，全部更新后的权重W就是词向量，这里就是这样训练的词向量，而不是像skip-gram之类的。我这样理解对吗？新手，理解错误的希望大家指正。

gaussic commented 5 years ago

你的理解都是对的。TensorFlow 的 embedding_lookup 确实是全连接层。