初步接触kafka

[heyrogs]

概述： 和消息系统相似（是一个消息中间件->生产者 和消费者）。

kafka架构： producer:生产者 consumer:消费者 broker:篮子 topic:主题概念，打标签

配置: $KAFKA_HOME/config/server.properties

启动kafka: bin/kafaka-server-start.sh $KAFKA_HOME/config/server.properties

创建topic: zk ./kafka-topics.sh --create --zookeeper jiang:2181 --replication-factor 1 --partitions 1 --topic hello_topic

查看zookeeper上挂有多少个topic: bin/kafka-topics.sh --list --zookeeper localhost:2181

生产者: broker bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费者: zk bin/kafka-console-consumer.sh --zookeeper jiang:2181 --topic test --from-beginning

--from-beginning:表示从头开始消费

单节点多broker启动:

bin/kafka-server-start.sh config/server-1.properties & ... bin/kafka-server-start.sh config/server-2.properties & ...

查看topic的详细信息: kafka-topics.sh --describe --zookeeper jiang:2181

[heyrogs]

查看消费情况::kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group testGroupId --topic hello_topic --zookeeper hadoop1:2181/kafka