chivee / grok

paper/idea sharing
MIT License
3 stars 0 forks source link

[刘知远][AAAI15] Topical word embeddings #11

Open jasonwbw opened 9 years ago

jasonwbw commented 9 years ago

点错了,下面写

jasonwbw commented 9 years ago

qq 20141225101725

看到这个图已经成功了,还是不要残卷人寰了。 其实就是把LDA和word2vec揉一起,z就是topic,三个架构可以看到分别是skipgram,skipgram,cbow。 学习算法依然是sgd,开源代码,基于gensim,听到就觉着很棒!https://github.com/largelymfs/topical_word_embeddings

效果挺不错的,毕竟是两个model的合体嘛,但是其实train是分开的。而且是巧用word2vec,把词改成tuple而已。文中对比了Document2Vec,不要轻信,因为昨天跟刘知远老师在网上聊,他之前没有看到mikolov的code和quoc的参数,所以应该是用的gensim的实现做的。需要验证下再来看,我看了gensim的code再来评论。

btw,word2vec使用的trick很多,是好model