ik_smart和ik_max_word分词差异怎么解决

[whldoudou]

ik_max_word分词效果：

`GET _analyze { "text": ["52周"], "analyzer": "ik_max_word" }

{ "tokens" : [ { "token" : "52", "start_offset" : 0, "end_offset" : 2, "type" : "ARABIC", "position" : 0 }, { "token" : "周", "start_offset" : 2, "end_offset" : 3, "type" : "COUNT", "position" : 1 } ] } `

ik_smart分词效果：

`GET _analyze { "text": ["52周"], "analyzer": "ik_smart" }

{ "tokens" : [ { "token" : "52周", "start_offset" : 0, "end_offset" : 3, "type" : "TYPE_CQUAN", "position" : 0 } ] } ` 问题是：ik_max_word 识别不出来TYPE_CQUAN类型的词，请问有解决方案没有？

[whldoudou]

/**

• 组合词元 */ private void compound(Lexeme result){

  if(!this.cfg.isUseSmart()){
      return ;
  }
  //数量词合并处理
  if(!this.results.isEmpty()){
  
      if(Lexeme.TYPE_ARABIC == result.getLexemeType()){
          Lexeme nextLexeme = this.results.peekFirst();
          boolean appendOk = false;
          if(Lexeme.TYPE_CNUM == nextLexeme.getLexemeType()){
              //合并英文数词+中文数词
              appendOk = result.append(nextLexeme, Lexeme.TYPE_CNUM);
          }else if(Lexeme.TYPE_COUNT == nextLexeme.getLexemeType()){
              //合并英文数词+中文量词
              appendOk = result.append(nextLexeme, Lexeme.TYPE_CQUAN);
          }
          if(appendOk){
              //弹出
              this.results.pollFirst(); 
          }
      }
  
      //可能存在第二轮合并
      if(Lexeme.TYPE_CNUM == result.getLexemeType() && !this.results.isEmpty()){
          Lexeme nextLexeme = this.results.peekFirst();
          boolean appendOk = false;
           if(Lexeme.TYPE_COUNT == nextLexeme.getLexemeType()){
               //合并中文数词+中文量词
              appendOk = result.append(nextLexeme, Lexeme.TYPE_CQUAN);
          }  
          if(appendOk){
              //弹出
              this.results.pollFirst();                   
          }
      }
  
  }

  }

问题就出现在组合词元中的数量词合并处理这块，为什么ik_max_word不进行数量词的合并呢？是有那方面的考量吗？

[whldoudou]

@medcl

[hongyan1110]

@medcl 我也遇到同样的问题，理论上ik_smart应该为ik_max_word分词的子集

[crossmaya]

我也遇到这个问题，刚准备提issue，请问你解决了吗？一摸一样的问题

[medcl]

ik_smart和算法不一样，不一定是子集。

[hongyan1110]

ik_smart和算法不一样，不一定是子集。

那就是说如果我使用 ik_smart 分词器搜索 ik_max_word 分词的数据，就不一定能搜索到。 但是对于 ES ，索引数据使用细粒度的分词器，搜索使用粗粒度的分词器，效果才是好的。那对于 ik分词器来说，有没有这样可以搭配使用的分词器呢？ @medcl

[kin122]

ik_smart和算法不一样，不一定是子集。

那就是说如果我使用 ik_smart 分词器搜索 ik_max_word 分词的数据，就不一定能搜索到。 但是对于 ES ，索引数据使用细粒度的分词器，搜索使用粗粒度的分词器，效果才是好的。那对于 ik分词器来说，有没有这样可以搭配使用的分词器呢？ @medcl

写入和搜索的分词器最好还是同一个