search

chatopera / Synonyms

:herb: 中文近义词：聊天机器人，智能问答工具包
https://bot.chatopera.com/
Other
5.03k stars 901 forks source link

如何扩充词库 #5

Closed gaochao19860203 closed 7 years ago

gaochao19860203 commented 7 years ago

你好，咨询下 如何扩充词库？有具体的操作介绍吗

gaochao19860203 commented 7 years ago

是这个方法吗 ？add_word_to_vocab？ def add_word_to_vocab(word, nearby, nearby_score) nearby_score如何得出？

hailiang-wang commented 7 years ago

扩充语料请看https://github.com/Samurais/wikidata-corpus 1）训练 w2v 词向量 2）获得整个词表的近义词集合和分数 3）生成pkl文件

请参考 https://github.com/huyingxi/Synonyms synonyms/init.py 的代码。 目前扩充词库有部分代码是修改了word2vec源码，这部分不会开源。

如果你有很大的语料，我可以做扩充的工作，前提是做好后贡献在 synonyms 里。

gaochao19860203 commented 7 years ago

再咨询下，如果 是想增加一对近义词，应该怎么操作？把这对近义词提交给你？

doudouaili commented 3 years ago

如果想增加近义词，但是这些词是用户自己定义的，希望有能增加的方式。有什么方式可以增加俩个近义词直接的评分吗