alibaba / jstorm

Enterprise Stream Process Engine
http://jstorm.io
Apache License 2.0
3.92k stars 1.8k forks source link

jstorm 整合kafka 能有分区事务spout demo吗 #262

Open hubuyt opened 8 years ago

hubuyt commented 8 years ago

看了jstorm整合kafka的例子 貌似只有非事务的和trident的,kafka分区事务spout不知道能否有,可以充分利用kafka的分区提高读的效率,还可以利用批处理来和nosql的批处理结合

longdafeng commented 8 years ago

2.2.0 有一套新的api 来满足事务性, 不过2.2.0 外面需要3个月才能看得到

2.1.1 你看看 这个example 能不能满足你需求 https://github.com/alibaba/jstorm/tree/master/example/sequence-split-merge/src/main/java/com/alipay/dw/jstorm/example/batch

2016-05-26 9:07 GMT+08:00 hubuyt notifications@github.com:

看了jstorm整合kafka的例子 貌似只有非事务的和trident的,kafka分区事务spout不知道能否有,可以充分利用kafka的分区提高读的效率

— You are receiving this because you are subscribed to this thread. Reply to this email directly or view it on GitHub https://github.com/alibaba/jstorm/issues/262

hubuyt commented 8 years ago

kafka 分区读数据和storm结合需要用到kafka 低级api 低级api 有些复杂 用的也不多