分词词库问题

[godfatherzzx]

你好。非常感谢作者提供的评估语料和词向量，有些词向量的评估得分远远超过自训练的词向量，所以就想拿这些词向量做一些语义相似性的计算应用。问题来了：CA8里的一些词，Hanlp默认的词库是不包含这些词的，想通过聚合去重来合并现有的词库，但是缺少词频和词性的信息。能不能通过云盘的方式，分享一下针对百度百科语料的词库？

[shenshen-hungry]

词向量文件里面的词是去掉低频词的词表。实际上CA8里面的词不完全是HanLP得到的，我们同时参考了ANSJ，LTP等分词工具，以及《现代汉语词典》（第六版）和《信息处理用现代汉语分词规范》（GB/T 13715-92）等规范。所以CA8里面会存在少量词组。单纯的用HanLP在百度百科语料上面分词并不能覆盖CA8的全部词，只能覆盖大多数。如果想要完全覆盖CA8的全部词汇可能需要按CA8建额外的分词词表。