solr升级到1.4后与paoding不兼容的问题

[GoogleCodeExporter]

solr升级到1.4后与paoding不兼容的问题现在发现以下两个，希望
qieqie有时间升级一下，谢
谢！ 
1、首先集成就有问题，实现BaseTokenizerFactory此类的中的create()
方法返回类型
TokenStream 与solr1.4的Tokenizer 不匹配，代码如下： 
//    public TokenStream create(Reader input) {   
//        return new PaodingTokenizer(input, PaodingMaker.make(), 
createTokenCollector());   
//    } 

    public Tokenizer create(Reader input) {   
        return new PaodingTokenizer(input,PaodingMaker.make(), 
createTokenCollector());   
    } 

2、使用高亮功能时报错： 
org.apache.lucene.search.highlight.InvalidTokenOffsetsException: Token 
test exceeds length of provided text sized 8 

Original issue reported on code.google.com by i.am.damian.young@gmail.com on 8 Dec 2009 at 5:05

[GoogleCodeExporter]

遇到同样的高亮问题，通过修改PaodingTokenizer::reset()方法可解�
��：
    @Override
    public void reset() throws IOException {
        super.reset();
//      offset = 0;
//      inputLength = 0;
        // 相关变量均需重置
        this.inputLength=0; // http://blog.sina.com.cn/s/blog_56fd58ab0100jdmq.html
        this.offset=0;
        this.dissected=0;
        this.tokenIteractor=null;
        this.beef.set(0, 0);
    }

 i.am.damian.young@gmail.com可以试一下，看是否遇到是同样的问题。

Original comment by Qsinzh...@gmail.com on 28 Jan 2013 at 3:31