embedding维度不统一问题

Embedding / Chinese-Word-Vectors

100+ Chinese Word Vectors 上百种预训练中文词向量

Apache License 2.0

11.82k stars 2.32k forks source link

Open zhanghanweii opened 1 year ago

zhanghanweii commented 1 year ago

您好，为什么我下载了百度300d的embedding，再加载时有些词的embedding的dim是299呢

HunterHeidy commented 1 year ago

你好，谢谢你的来信，祝你生活愉快，身体健康。

jan4984 commented 1 day ago

是的，这咋搞啊，是前面补0还是后面补0

jan4984 commented 1 day ago

看了下数据，是因为里面的 word 即有空格，也有数字，导致解析很难写。暂时先把这些奇怪的 word 都去掉不管了