分词总是分错，是怎么回事？

guotong1988 commented 8 years ago

对问题进行分词：苏格兰属于哪个洲分词结果为：苏格兰属于哪个洲

我check下来源码在eclipse里运行多次，我记得就有一次运行是自动回答正确的

我初步断定是分词的错误，因为在CommonCandidateAnswerSelect类里

if (word.getText().length() < 2){
                LOG.debug("忽略长度小于2的候选答案："+word);
                continue;
}

会忽略长度小于2的候选答案，所以上面的苏格兰会被忽略

ysc commented 8 years ago

网页界面输出

问题：苏格兰属于哪个洲答案：序号候选答案答案评分 1 英国 1.0 2 英格兰 0.5750764693313416 3 大不列颠 0.35729075575786035 4 威尔士 0.3154187556565901 5 昆明 0.3054385411970115 6 北爱尔兰 0.20551109386550256 7 西临 0.13527580522621396 8 大西洋 0.135042367556336 9 北海 0.13467187048847026 10 欧洲 0.10191780989357621 11 大不列颠及北爱尔兰联合王国 0.0952426025275079 12 爱尔兰岛 0.09386061472731476 13 不列颠 0.09356736053571106

ysc commented 8 years ago

日志输出

Question：苏格兰属于哪个洲搜索到Evidence 8 条将Question：苏格兰属于哪个洲加入MySQL数据库使用【模式匹配】的方法判断问题类型：苏格兰属于哪个洲问题：苏格兰属于哪个洲词和词性序列：苏格兰/ns 属于/v 哪个/r 洲/ng 词性序列：ns/v/r/ng 对问题进行分词：苏格兰属于哪个洲分词结果为：苏格兰属于哪个洲句法树: (ROOT [46.326](IP %28NP %28NR 苏格兰%29%29 %28VP %28VV 属于%29 %28NP %28DP %28DT 哪个%29%29 %28NP %28NN 洲%29%29%29%29)) 句子依存关系： nsubj(属于-2, 苏格兰-1) root(ROOT-0, 属于-2) det(洲-4, 哪个-3) dobj(属于-2, 洲-4) 主谓宾：苏格兰属于洲主谓宾词和词性序列：苏格兰/ns 属于/v 洲/ng 主谓宾词性序列：ns/v/ng

处理问题类型模式文件： /questionTypePatterns/QuestionTypePatternsLevel1_true.txt 匹配成功: 苏格兰属于哪个洲 : 苏格兰属于哪个洲 : Location 在问题类型模式文件中[找到]匹配项： /questionTypePatterns/QuestionTypePatternsLevel1_true.txt

处理问题类型模式文件： /questionTypePatterns/QuestionTypePatternsLevel2_true.txt 在问题类型模式文件中[未找到]匹配项： /questionTypePatterns/QuestionTypePatternsLevel2_true.txt

处理问题类型模式文件： /questionTypePatterns/QuestionTypePatternsLevel3_true.txt 在问题类型模式文件中[未找到]匹配项： /questionTypePatterns/QuestionTypePatternsLevel3_true.txt 从紧凑到宽松进行处理问题类型模式【QuestionTypePatternsLevel1_true.txt】匹配情况，是否允许匹配多个类型：true 序号：1 问题 : 苏格兰属于哪个洲模式 : 苏格兰属于哪个洲分类 : Location 从紧凑到宽松进行处理处理问题类型模式：QuestionTypePatternsLevel1_true.txt ，是否允许多个匹配：true 只有一个匹配结果，匹配成功类型选中数目 LOCATION_NAME 1 问题类型模式QuestionTypePatternsLevel1_true.txt有一个匹配，【找到类型】找到类型，返回：LOCATION_NAME 开始处理Question 2：苏格兰属于哪个洲【问题类型：LOCATION_NAME】

Question 苏格兰属于哪个洲 Question 候选答案：英国 1.0 英格兰 0.5750764693313416 大不列颠 0.35729075575786035 威尔士 0.3154187556565901 昆明 0.3054385411970115 北爱尔兰 0.20551109386550256 西临 0.13527580522621396 大西洋 0.135042367556336 北海 0.13467187048847026 欧洲 0.10191780989357621 大不列颠及北爱尔兰联合王国 0.0952426025275079 爱尔兰岛 0.09386061472731476 不列颠 0.09356736053571106

guotong1988 commented 8 years ago

我知道了，我把项目放linux的桌面了，取资源的时候，这个中文路径是问题

ysc / QuestionAnsweringSystem

分词总是分错，是怎么回事？ #12