search

shibing624 / pycorrector

pycorrector is a toolkit for text error correction. 文本纠错，实现了Kenlm，T5，MacBERT，ChatGLM3，Qwen2.5等模型应用在纠错场景，开箱即用。
https://www.mulanai.com/product/corrector/
Apache License 2.0
5.61k stars 1.1k forks source link

语言模型出错 #22

Closed cloudfool closed 6 years ago

cloudfool commented 6 years ago

您好，

我发现您提供的云盘里的语言模型people2014corpus_chars.klm和程序默认的语言模型people_chars_lm.klm是不一样的。然后我把云盘里的模型替换掉默认模型之后，程序就运行失败了，显示Illegal instruction (core dumped). 我想问下我该如何使用云盘里提供的语言模型，谢谢。

shibing624 commented 6 years ago

嗯，https://github.com/shibing624/pycorrector/issues/11

cloudfool commented 6 years ago

您好，我想请问程序默认的语言模型people_chars_lm.klm和云盘里提供的语言模型people2014corpus_char.klm，都是用您附上的那篇关于kenlm的博客里写的方法训练得到的么？ 因为目前不论是用云盘里提供的模型还是我自己训练的模型，运行程序都容易出现illegal instructions的错误，唯独用默认的语言模型people_chars_lm.klm可以正常运行。 对于这个问题，希望您能给我一些建议，谢谢了。

shibing624 commented 6 years ago
  1. 都是用您附上的那篇关于kenlm的博客里写的方法训练得到的.
  2. people2014corpus_chars.klm 是 people2014corpus_chars.arps的压缩格式，使用people2014corpus_chars.klm替换默认模型应该可以使用，而且纠错效果要好一些。