search

HIT-SCIR / pyltp

pyltp: the python extension for LTP
1.53k stars 352 forks source link

分词结果错误 #237

Closed yasewang987 closed 2 years ago

yasewang987 commented 2 years ago

问题类型

分词结果错误

出错场景

分析句子：以她为名，延安精神成为中国共党的宝贵精神财富。

运行环境

cpu：鲲鹏920 系统：统信UOS Server 20 1040d 20210719 python版本：python3.6 pyltp版本：0.4.0

错误分词

image

期望结果

image

其他

mqy9787 commented 2 years ago

同样的问题 分词、词性标注、NER等结果都不对 cpu：飞腾 arrch64 python版本：python3.7 pyltp版本：0.4.0

mqy9787 commented 2 years ago

image

AlongWY commented 2 years ago

应该是载入模型的时候出现了大小端不匹配的问题

mqy9787 commented 2 years ago

应该是载入模型的时候出现了大小端不匹配的问题

请问这个该如何解决呢，目前国产化arrch架构的cpu 飞腾 鲲鹏都有这个问题，而x86架构的海光可以正常显示分词结果。

AlongWY commented 2 years ago

可以尝试一下 ltp 4.2 的 legacy 模型？如果无法载入的话，可以在x86平台将模型保存为json格式，然后再在arm平台进行载入