synonyms.compare 函数问题

[inhzus]

description

在使用函数synonyms.compare(s1, s2, seg=False)时，常常提示： W0320 10:34:21.076664 9464 synonyms.py:154] not exist in w2v model: 付东升 这是正常的，但是，很多标点依然会提示这样，在我看来很不合理。

expected

希望可以优化标点或者叫做stopwords的处理。

solution

environment

• version: The commit hash (git rev-parse HEAD)

[hailiang-wang]

如果有标点的话，使用

synonyms.compare(s1, s2, seg=True)

seg=False 就是假设句子已经做好分词了，去停用词和标点了，每个句子的形式都是: "单词A 单词B ..."，有空格分割。