google.bin 相关疑问

[burette]

前辈您好， 您在代码里注释的

tf.flags.DEFINE_string("word2vec", "./data/rt-polaritydata/google.bin", "Word2vec file with pre-trained embeddings (default: None)")

这个google.bin文件就是谷歌的GoogleNews-vectors-negative300.bin文件是么？

[Aliang-CN]

大佬，negative300.bin这个文件试过吗

[burette]

大佬，negative300.bin这个文件试过吗

这个文件试过了。用的就是GoogleNews-vectors-negative300.bin这个预训练的。原代码使用Python2.7，我使用的python3.5，按照原来代码读这个文件的地方，会出现错误，内存溢出。python3下使用下面的片段进行读取negative300.bin： for line in tqdm(range(vocab_size)):

word = []

                    # while True:
                    #     ch = f.read(1)
                    #     if ch == b' ':
                    #         # word = ''.join(word)
                    #         break
                    #     if ch != b'\n':
                    #         word.append(ch)
                    word = b''
                    while True:
                        ch = f.read(1)
                        if ch == b' ':
                            break
                        word += ch

这个可以走通整个流程。

[Aliang-CN]

大佬有试过gensim读取bin文件吗

[Aliang-CN]

你这种方法读取太慢了，要3个小时

[burette]

你这种方法读取太慢了，要3个小时

读取三个小时可能是机器性能问题？我这边几台机子都是几分钟读完i5的机子

[burette]

大佬有试过gensim读取bin文件吗

from gensim.models.keyedvectors import KeyedVectors model = KeyedVectors.load_word2vec_format( 'GoogleNews-vectors-negative300.bin', binary=True, limit=300000)

[Aliang-CN]

我两种方法都试过了，我遍历vocabulary_user的词，发现在model里面都没有这个词，你那边是什么情况呢？