search

bts-webber / SparkstreamingApp_python

9 stars 86 forks source link

spark kafka config? #1

Open Err0rZero opened 6 years ago

Err0rZero commented 6 years ago

hi : kvs=KafkaUtils.createStream(ssc,zookeeper,self.app_conf["app_name"],topic,keyDecoder=utf8_decoder,valueDecoder=lambda v :Avro.AvroToJson(v,self.schema))

spark kafka start , but KafkaUtils don't data, please tell me spark kafka how to configure?

my kafka run : --producer=kafka --kafka.bootstrap.servers=t02:9092,t03:9092,t04:9092

bts-webber commented 6 years ago

如果不报错只是空跑，建议你先确定kafka对应的topic有数据。印象中KafkaUtils默认是消费新数据，如果topic没有新数据会在空跑（建议你读下pyspark的API文档）。我这里场景kafka中的数据使用了avro序列化，保持数据和你的情况一致。

Err0rZero commented 6 years ago

... 说中文就方便多了，这个问题解决了，能否留下联系方式，还有些问题想想请教你

bts-webber commented 6 years ago

微信：LoerPe