用户自己添加新的词性的问题

[liuyunfanng]

现在发现1.2.10给出的用户自定义添加词性的demo不适用于NLPTokenizer.segment(text)分词，还没找出原因，希望能帮忙看一下，谢谢！

[hankcs]

请给出触发代码

[liuyunfanng]

DemoCustomNature.java中 // 我们可以动态添加一个 pcNature = Nature.create("np"); System.out.println(pcNature); // 可以将它赋予到某个词语 LexiconUtility.setAttribute("苹果电脑", pcNature); // 或者 LexiconUtility.setAttribute("苹果电脑", "np 1000"); // 它们将在分词结果中生效 List termList = HanLP.segment("苹果电脑可以运行开源阿尔法狗代码吗"); 上面这段代码是可行的 但是如果termList = NLPTokenizer.segment("苹果电脑可以运行开源阿尔法狗代码吗");就会返回错误 Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 148 at com.hankcs.hanlp.algoritm.Viterbi.compute(Viterbi.java:121) at com.hankcs.hanlp.seg.WordBasedGenerativeModelSegment.speechTagging(WordBasedGenerativeModelSegment.java:531) at com.hankcs.hanlp.seg.Viterbi.ViterbiSegment.segSentence(ViterbiSegment.java:118) at com.hankcs.hanlp.seg.Segment.seg(Segment.java:454) at com.hankcs.hanlp.tokenizer.NLPTokenizer.segment(NLPTokenizer.java:37) at com.hankcs.demo.DemoCustomNature.main(DemoCustomNature.java:50) 我怎么看懂，是生成矩阵的原因吗

[hankcs]

[苹果电脑/np, 可以/v, 运行/vn, 开源/v, 阿尔法/nrf, 狗/n, 代码/n, 吗/y] 已经修复，用版本库里的最新代码。

[cwj]

from pyhanlp import *

def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮")

def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰"))

if name == "main": add_dictionary() keyword_extract()

结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr]

在python版本里不起作用呢

[hankcs]

from pyhanlp import *

def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮")

def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰"))

if name == "main": add_dictionary() keyword_extract()

结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr]

在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

[cwj]

from pyhanlp import * def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮") def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰")) if name == "main": add_dictionary() keyword_extract() 结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr] 在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

这个我试过了，是可以的，在NLPTokenizer.segment的时候不起作用

[hankcs]

from pyhanlp import * def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮") def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰")) if name == "main": add_dictionary() keyword_extract() 结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr] 在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

这个我试过了，是可以的，在NLPTokenizer.segment的时候不起作用

感谢反馈，已经修复，请参考上面的commit。 如果还有问题，欢迎重开issue。

[cwj]

from pyhanlp import * def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮") def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰")) if name == "main": add_dictionary() keyword_extract() 结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr] 在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

这个我试过了，是可以的，在NLPTokenizer.segment的时候不起作用

感谢反馈，已经修复，请参考上面的commit。 如果还有问题，欢迎重开issue。

不好意思，请问你们测试通过没？我这边怎么还是不行呢，我这边是需要有其它什么修改么？

[hankcs]

from pyhanlp import * def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮") def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰")) if name == "main": add_dictionary() keyword_extract() 结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr] 在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

这个我试过了，是可以的，在NLPTokenizer.segment的时候不起作用

感谢反馈，已经修复，请参考上面的commit。 如果还有问题，欢迎重开issue。

不好意思，请问你们测试通过没？我这边怎么还是不行呢，我这边是需要有其它什么修改么？

你需要等下一个版本，或者自行编译jar并替换pyhanlp中的jar。

[cwj]

from pyhanlp import * def add_dictionary(): CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("攻城狮") def keyword_extract(): NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer") # NLP标注 print(NLPTokenizer.segment("攻城狮逆袭单身狗，迎娶白富美，走上人生巅峰")) if name == "main": add_dictionary() keyword_extract() 结果：[攻城/ns, 狮/Ng, 逆袭/v, 单身/n, 狗/n, ，/w, 迎娶/v, 白富美/nr, ，/w, 走上/v, 人生/n, 巅峰/nr] 在python版本里不起作用呢

运行这个试试：https://github.com/hankcs/pyhanlp/blob/7f9c58731aa786005776458a8232855e19ec7cb1/tests/demos/demo_custom_dictionary.py#L21

这个我试过了，是可以的，在NLPTokenizer.segment的时候不起作用

感谢反馈，已经修复，请参考上面的commit。 如果还有问题，欢迎重开issue。

不好意思，请问你们测试通过没？我这边怎么还是不行呢，我这边是需要有其它什么修改么？

你需要等下一个版本，或者自行编译jar并替换pyhanlp中的jar。

好的，谢谢啦！不过我发现从上个版本到现在这个文件修改的地方挺多的，请问你们下个版本大概什么时候发布呢？