search

lw-lin / CoolplaySpark

酷玩 Spark: Spark 源代码解析、Spark 类库等
3.46k stars 1.41k forks source link

程序编译的时候是kafka_client-0.10.jar的，spark-submit的时候加载了CDH自带的spark-assembly。导致类冲突 #49

Open LinMingQiang opened 5 years ago

LinMingQiang commented 5 years ago

例如KafkaConsumer这个类。程序编译的时候是kafka_client-0.10.jar的，但是spark-submit的时候使用的是spark-assembly-1.6.0-cdh5.14.4-hadoop2.6.0-cdh5.14.4.jar包里的 。导致程序运行的时候出现冲突。想请教下这个有好的解决办法吗