search

thunlp / SE-WRL-SAT

Revised Version of SAT Model in "Improved Word Representation Learning with Sememes"
MIT License
50 stars 8 forks source link

result about evaluation #2

Closed embraceth closed 5 years ago

embraceth commented 5 years ago

您好！我拿您提供的词向量结果和提供的wordsim-240和297脚本进行了测试，为啥结果跟您的不一样，我的240得分是58.6比您展示的要低，但是297是65.3比您展示的要高？ 望指教！感谢！

Fanchao-Qi commented 5 years ago

你好，我刚刚测试了一下，发现结果仍然是61和64没变。请问你是用了这个repo的EvalWordSim.py评测的cloud上的word-vec.zh文件吗？

embraceth commented 5 years ago

是的，用的就是您发的这俩文件! 这是盘出来的结果: Word embeddings reading completes and total number of words is: 10144 WordSim-240 Score: 0.5868977927526543 TestPair: 183 SkipPair: 57 WordSim-297 Score: 0.6533767056765682 TestPair: 191 SkipPair: 106

Fanchao-Qi commented 5 years ago

不对呀，词表有40多万词，你读出来才10000多。。

embraceth commented 5 years ago

找到原因了，在那个云盘下文件的时候，老是下到一半自己就停了

embraceth commented 5 years ago

您好！问题解决了，非常感谢!