关于给synonyms更换自定义的词向量文件时遇到的问题

SheriffRabbit commented 2 years ago

描述

这里是一份腾讯开源的词向量我打算将这个词向量替换到我们的同义算法中去 5000-small.txt 这个词向量文件是mini版本的腾讯词向量用于验证是否可以正确导入到我们的库中使用

接下来使用gesmin读取词向量文件（txt) 然后将词向量文件保存成.vector 然后使用系统命令压缩成.gz

我直接用这个新文件替换到了项目目录中的词向量位置（因为文件同名就直接替换过去了）然后运行我们库的例子发现问题然后不管怎么检索各种词都是（[ ],[ ])

littleone01 commented 2 years ago

I have received your email, thanks a lot!

SheriffRabbit commented 2 years ago

然后我尝试打开了按照上述步骤生成的腾讯词向量文件以及解压之后的我们库自带的词向量文件如下图

SheriffRabbit commented 2 years ago

通过shang上面的发现我将生成词向量的方式改成了 .save方式获得了和自带的词向量一样的格式但是仍不能正确加载

hailiang-wang commented 2 years ago

将文件调整为二进制格式，目前仅支持 word2vec 二进制格式。网络上有响应的工具，将 word2vec 的两种格式互转。