Apache Kafka

[Mvitimin]

• 카프카 브로커: 클러스터안에서 서버가 운영됨
• 토픽: 로지컬 데이터 유닛 (다수 파티션을 가지고 있는)
• 파티션: 가장작은 스토리지 유닛 (레코드 서브셋을 가지고있는)
• 프로듀서: 특정파티션 끝에서 부터 작성
• 컨슈머: 오프셋을 사용하는 파티션으로 부터 읽음
• 레플리케이션: Resilient, fault-tolerant 를 위함
• 스케일링: 파티션 전략
• 불변 append-only 이벤트 로그들

[Mvitimin]

[Mvitimin]

https://github.com/Lucas24D/ordering-system

[Mvitimin]

[Mvitimin]

[Mvitimin]

ZooKeeper Commands: The Four Letter Words https://zookeeper.apache.org/doc/r3.1.2/zookeeperAdmin.html#sc_zkCommands

$ docker-compose -f common.yml -f zookeeper.yml up # 주키퍼 구동
$ echo ruok | nc localhost 2181 # 주키퍼 상태체크 
$ docker-compose -f common.yml -f kafka_cluster.yml up # 카프카 클러스터 구동
$ docker-compose -f common.yml -f init_kafka.yml up # 카프카 시작 

Kafka Manager http://localhost:9000/

[Mvitimin]

Docker Container Network Bridge https://itbhome.tistory.com/47

[Mvitimin]

Kafka programming

A.) KafkaTemplate is a spring component that wraps a Kafka Producer and provides method to easily produce data on kafka.

B.) To create a Kafka Consumer with spring, using a KafkaListener annotation on a simple method is enough.

C.) If my kafka topic has n partitions, I cannot use more than n threads to consume the data on topics.

D.) Kafka Consumer has a max poll records property that limits the number of records returned for a single poll.