search

FS1360472174 / spark-knowledge

notes for learning spark
0 stars 0 forks source link

spark 处理历史数据 #20

Open FS1360472174 opened 6 years ago

FS1360472174 commented 6 years ago

  1. 一些基础数据是 属性名称 这些数据冗余下来了，但是有可能会发生变化

  2. spark 处理的时候，join 的时候是将这些数据都从MySQL表拉到了ES表中，由于这些数据量大， 不能每天去全量拉。需要使用其他手段支持