alibaba / mdrill

for千亿数据即席分析
https://github.com/alibaba/mdrill
Apache License 2.0
1.54k stars 764 forks source link

修正 小时 任务 在切换索引的时候 数据出现抖动的BUG #67

Closed muyannian closed 10 years ago

muyannian commented 10 years ago

之前是根据map的indexid进行的hash,但是 当map 数量发生变化的时候,hash规则就发生了变化。

目前修改为 根据map处理文件的路径 进行hash

muyannian commented 10 years ago

InputSplit inputSplit = context.getInputSplit(); Path filepath = ((FileSplit) inputSplit).getPath();

     if(filepath!=null)
     {
         String pash=filepath.toString();
         this.Index=pash.hashCode()%1000000;
         if(this.Index<0)
         {
            this.Index*=-1;
         }

     }