Open liangqi opened 6 years ago
@liangqi
@liangqi 那个应该不是完整的数据
“This file has been truncated, but you can view the full file.”
应该是完整的,我这里有pdf版本。
现代汉语常用词表(草案) 1 的 - 56008 正方体
现代汉语常用词表(草案)音序索引 阿爸 18137 - 做作 18231
@liangqi 那个文件有 56064 个词,《现代汉语常用词表(草案)》中是 56008 个词,还需要进一步确认。
嗯,加Header 56065行,但是文件中确实没有出现56009、56010、56011
开始试着用脚本读取这个数据文件,有些是typo,有些是多音字有多个条目,应该还需要一些校对工作。
56008个词,但有的词有多种写法,例如“作”-“做”等,有的是多音词。
@liangqi 👍 💯
这个文件好像问题是不少,这几天用 https://github.com/lig/pystardict 和 现代汉语词典,大致检查了一下,在这个词典里能查到的条目,进行了拼音对比,结果如:https://gist.github.com/liangqi/caa7db05a269a21fe6775408aef2a800
主要问题:
(注:词典里的多音字我还没有处理)
@liangqi 辛苦了 👍
@mozillazg 儿化音目前一般怎么处理的?按《汉语拼音方案》的话,就是单个“r“在词尾
@liangqi 目前没按《汉语拼音方案》处理,大部分都直接是 er
56008 是草案 56064 是第1版 56790 是第2版
不是很清楚pinyin.txt的历史来源