[TEST] 카프카 클러스터 구축 + 도커라이징

GeonSoon1 commented 1 month ago

[x] 로컬에서 카프카 클러스터 구축해보기 (장철원 강사님 수업내용)
[x] GCP서버 1대로 카프카 클러스터 도커라이징
[x] KRaft를 이용하여 카프카 클러스터 구축

GeonSoon1 commented 4 weeks ago

로컬에서 카프카 클러스터 구축(장철원 강사님)

image (29)

서버 1대로 카프카 클러스터 구축(With 도커)

image (30)

image (31)

GeonSoon1 commented 3 weeks ago

KRaft를 이용하여 카프카 클러스터 구축.

producer - consumer 제대로 작동하는지 확인

image (6)

1번서버에서 csv_to_json.py 실행

csv파일 → json으로 변환

1번서버에서 Producer.py 실행

json파일 kafka로 전송

image (7)

Kafka에서 '퀴럼'이라는 용어는 브로커들 간의 결정을 내릴 때 필요한 최소한의 브로커 수를 나타냅니다. KRaft(Kafka Raft) 구성에서는, Kafka의 내부 메타데이터를 관리하기 위해 사용되는 Raft 프로토콜 기반의 클러스터 관리 시스템을 의미합니다. 퀴럼은 클러스터의 안정성과 일관성을 유지하는 데 중요한 역할을 합니다.

1. 퀴럼의 상태(Quorum Status) 확인:

ClusterId: 클러스터의 고유 식별자
LeaderId: 현재 리더 브로커의 ID
LeaderEpoch: 리더의 에폭(변경된 횟수)
HighWatermark: 클러스터 내 모든 복제본이 동의한 마지막 커밋된 오프셋
MaxFollowerLag: 팔로워들 중 최대 지연 시간
CurrentVoters: 투표에 참여하고 있는 브로커의 ID 목록

2. 퀴럼의 복제정보(Quorum Replication) 확인:

각 브로커의 상태(Leader, Follower)와 각 브로커가 가진 메타데이터의 오프셋 정보
LogEndOffset: 해당 브로커가 가진 로그의 마지막 오프셋
Lag: 리더와의 오프셋 차이
LastFetchedTimestamp: 마지막으로 데이터를 가져온 시간
LastCaughtUpTimestamp: 마지막으로 동기화된 시간

퀴럼의 상태 정보를 보고싶을때

/opt/kafka/bin/kafka-metadata-quorum.sh --bootstrap-server 10.178.0.17:9092 describe --status

image (4)

퀴럼의 복제 정보를 보고싶을때

/opt/kafka/bin$ /opt/kafka/bin/kafka-metadata-quorum.sh --bootstrap-server 10.178.0.17:9092 describe --replication

image (5)

WHATDO-TEAM / whatdo

[TEST] 카프카 클러스터 구축 + 도커라이징 #21