XiliangSong / paoding

Automatically exported from code.google.com/p/paoding
0 stars 0 forks source link

关于庖丁的多种分词策略,我都已经了解,我还想了解另一种分词策略,望王志老师帮忙看看 #59

Open GoogleCodeExporter opened 9 years ago

GoogleCodeExporter commented 9 years ago
问题步骤:
1.用最长匹配分词法对“提供计算机设计方案”进行分词
2.分词结果“提供/计算机/机设/设计方案/”

问题:既然选用了最长匹配分词法,我觉得没必要进行交叉��
�词了。如何可以把交叉分词功能去
掉?可以在配置文档进行配置吗?如果要改代码?是不是应��
�修改TokenCollector?谢谢

Original issue reported on code.google.com by yuweimin...@gmail.com on 18 Mar 2010 at 2:15

GoogleCodeExporter commented 9 years ago
先谢谢你的反馈!

分词策略的选择,的确会出现您陈述的“交叉”分词,因为pa
oding没有默认提供相应的实现,所以现在无法
通过配置去除。

不过您可参考庖丁在分词策略选择上的实现(没记错的话应该�
��是TokenCollector)来做,
扩展一个新的TokenCollector!

reno,你的意见是?

对了,因为这个issure的回复不一定是某个人,所以如果没有指�
��回答人时,这样可能会有更多人帮忙你。

Original comment by qieqie.wang on 18 Mar 2010 at 2:30

GoogleCodeExporter commented 9 years ago
其实用最长匹配分词发也需要将某些交叉分词保留的,如 
红楼梦新探序言 =>红楼/红楼梦/新探/序言/红楼梦
新探序言,这里面有对“红楼”有三次交叉,如果不保留交��
�,按最长匹配就会只分出"红楼梦新探序言",这
样当用户查找“红楼梦”的时候就搜不到这个结果。
分词交叉是可以说是庖丁分词相较于其他分词的一个特点,��
�种方式对lucene搜索是有利的。

Original comment by reno....@gmail.com on 18 Mar 2010 at 2:59

GoogleCodeExporter commented 9 years ago
好的,不好意思,因为我第一次第一次发issue,所以不清楚规
则,以后会注意的了。因为我们这次做的项目
比较特殊,单纯的索引与检索的了,是跟词频,跟次元,跟��
�距有关的一个项目,所以我是比较希望不交叉,
希望qieqie指点一下如何修改TokenCollector。

Original comment by yuweimin...@gmail.com on 18 Mar 2010 at 9:19

GoogleCodeExporter commented 9 years ago
我是希望扩展一个TokenCollector,我不想破坏原有的Paoding的分��
�规则。

Original comment by yuweimin...@gmail.com on 18 Mar 2010 at 9:22

GoogleCodeExporter commented 9 years ago
庖丁现在还不能简单的通过修改配置来植入用户定义的TokenCol
lector,要是想自己扩展的话,
可以参考net.paoding.analysis.analyzer.impl.MostWordsTokenCollector的实现�
��
另外,一个变通的办法是采用更适合你要求的分词法,例如Lu
cene自带的smart-cn分词法就能满
足你的要求。

Original comment by reno....@gmail.com on 18 Mar 2010 at 9:58

GoogleCodeExporter commented 9 years ago
谢谢reno,我怕smart-cn的分词效果没有paoding的好,paoding有词库
,可以扩展,我还是选择用庖丁扩
展。

Original comment by yuweimin...@gmail.com on 18 Mar 2010 at 10:44

GoogleCodeExporter commented 9 years ago
以前的版本分词有不交叉的分词法吗?只要把之前的TokenCollec
tor移植过来就行了,我试过一次,把
2.0.4的Alpha版本的最长匹配分词法拿过来用,完全没有问题。�
��过要我自己写或者自己改可能要费很大
劲,希望有心人士能帮我解决一下这个问题。

Original comment by yuweimin...@gmail.com on 18 Mar 2010 at 11:17

GoogleCodeExporter commented 9 years ago
“红楼梦新探序言” 
按照最长匹配法,不应该缺少“红楼梦”这个词,因为红楼��
�这个词比红楼这个词要长,
所以分解出来的应该是红楼梦而不是红楼,

Original comment by yuweimin...@gmail.com on 21 Mar 2010 at 3:31

GoogleCodeExporter commented 9 years ago
假如我现在对“红楼梦我爱你”一句话进行分词,假如结果��
�“红楼/红楼梦/梦我/我爱/爱你/我爱你”
分词结果之中可以看出有交叉分词。
由于我是使用最大分词法,所以我觉得结果是“红楼梦/我爱�
��”,因为“红楼梦”跟“我爱你”都是最大的词
源。我觉得这样更能反映句子的语义

Original comment by yuweimin...@gmail.com on 21 Mar 2010 at 3:40

GoogleCodeExporter commented 9 years ago
呵呵,经过几天的研究,终于解决了交叉分词了。原来庖丁��
�扩展性比我想象当中的要好很多。

Original comment by yuweimin...@gmail.com on 22 Mar 2010 at 6:54

GoogleCodeExporter commented 9 years ago
能说一下你怎么解决这个问题的吗?因为我自己在项目中也��
�要最长匹配,想去掉交叉分词。

Original comment by yunbia...@gmail.com on 25 Apr 2010 at 12:23

GoogleCodeExporter commented 9 years ago
请假下,如何进行最大匹配法而避免交叉分词的方法?

Original comment by Baizhang...@gmail.com on 20 May 2013 at 3:42