a tutorial for training Chinese-word2vec using Wiki corpus
word2vec词向量是NLP领域的基础,如何快速地训练出符合自己项目预期的词向量是必要的。
【注】:本项目主要目的在于快速的构建通用中文word2vec词向量,关于word2vec原理后期有时间再补充(文中不足之处欢迎各位大神批评指正,亦可共同交流学习)。
想要训练好word2vec模型,一份高质量的中文语料库是必要的,目前常用质量较好的中文语料库为维基百科的中文语料库。
python parse_zhwiki_corpus.py -i zhwiki-latest-pages-articles.xml.bz2 -o corpus.zhwiki.txt
corpus.zhwiki.txt
有1.04G,共有32w+的documents(每行为1个doc)。
python chinese_t2s.py -i corpus.zhwiki.txt -o corpus.zhwiki.simplified.txt
corpus.zhwiki.simplified.txt
。python remove_en_blank.py -i corpus.zhwiki.simplified.txt -o corpus.zhwiki.simplified.done.txt
corpus.zhwiki.simplified.done.txt
。python corpus_zhwiki_seg.py -i corpus.zhwiki.simplified.done.txt -o corpus.zhwiki.segwithb.txt
corpus.zhwiki.segwithb.txt
。 python word2vec_train.py -i corpus.zhwiki.segwithb.txt -m zhwiki.word2vec.model -v zhwiki.word2vec.vectors -s 400 -w 5 -n 5
zhwiki.word2vec.model
zhwiki.word2vec.model.trainables.syn1neg.npy
zhwiki.word2vec.model.wv.vectors.npy
zhwiki.word2vec.vectors
from gensim.models import Word2Vec
word2vec_model = Word2Vec.load(zhwiki.word2vec.model)
# 查看词向量
print('北京:', word2vec_model['北京'])
# 查看相似词
sim_words = word2vec_model.most_similar('北京')
for w in sim_words:
print(w)