studyzy / imewlconverter

”深蓝词库转换“ 一款开源免费的输入法词库转换程序
GNU General Public License v3.0
7.77k stars 641 forks source link

合并词库时保留词频? #309

Closed Ghiclgi closed 5 months ago

Ghiclgi commented 6 months ago

作者您好,非常感谢您制作这款软件。我有两个词库,是在不同电脑导出的,希望合并成一个大词库。 词库信息中有词频,希望保留词频这个关键的信息。不知道程序中能否实现? 比如合并以下两个文件(手心输入法格式): test1.txt

校医院 xiao'yi'yuan 13 找一个 zhao'yi'ge 12 小一点 xiao'yi'dian 11 找一找 zhao'yi'zhao 8 找资料 zhao'zi'liao 6

test2.txt

校医院 xiao'yi'yuan 130 找一个 zhao'yi'ge 120 小一点 xiao'yi'dian 110 消息人士 xiao'xi'ren'shi 3 小意见 xiao'yi'jian 2 站一会 zhan'yi'hui 2

合并之后的结果,条目还是重复的: test_merged.txt

校医院 xiao'yi'yuan 13 找一个 zhao'yi'ge 12 小一点 xiao'yi'dian 11 找一找 zhao'yi'zhao 8 找资料 zhao'zi'liao 6 校医院 xiao'yi'yuan 130 找一个 zhao'yi'ge 120 小一点 xiao'yi'dian 110 消息人士 xiao'xi'ren'shi 3 小意见 xiao'yi'jian 2 站一会 zhan'yi'hui 2

希望的效果是

校医院 xiao'yi'yuan 13 找一个 zhao'yi'ge 12 小一点 xiao'yi'dian 11 找一找 zhao'yi'zhao 8 找资料 zhao'zi'liao 6 消息人士 xiao'xi'ren'shi 3 小意见 xiao'yi'jian 2 站一会 zhan'yi'hui 2

不过可能词频的计算会比较麻烦。

InMirrors commented 5 months ago

Excel中可以方便地去重,词频的计算应该能用透视表处理

nopdan commented 5 months ago

工具着重于词库转换,其他需求建议手动处理