Kafka Consumer

[yepdi]

Kafka Consumer

• Consumer : 토픽의 메시지를 가져와서 consume하는 application

  • 옵션
  • fetch.min.bytes : 한번에 가져올 수 있는 최소 데이터 사이즈
  • fetch.max.bytes : 한번에 가져올 수 있는 최대 데이터 사이즈
  • group.id : 컨슈머가 속한 컨슈머 그룹을 식별하는 식별자
  • enable.auto.commit
    • earliest : 가장 초기의 오프셋
    • latest : 가장 마지막의 오프셋

• Partition : topic은 하나 이상의 파티션으로 전달된다

  • 파티션이 여러개 인 경우 각 파티션 내는 순서가 보장되지만 다른 파티션에 존재하는 경우 순서는 보장되지 않는다
  • 토픽 파티션 수 = 최대 컨슈머 수
  • 하나의 파티션에는 하나의 컨슈머만 할당

• Consumer Group :

  • consumer group 마다 topic의 partition에 대한 별도 offset을 관리
  • consumer group에 추가/제거 될 때마다 rebalancing하여 group내의 consumer에 대한 partition을 할당한다
  • consumer group에는 반드시 하나의 consumer만 할당이 된다
  • partition이 2개이고 consumer 3개인 경우 하나의 consumer가 idle 상태
  • partition이 3개이고 consumer가 2개인 경우 하나의 consumer에 2개의 partition 할당

• Commit & Offset

  • consumer가 poll을 호출할 때마다 consumer group은 kafka에 저장되어 있는 읽지 않은 메시지를 가져옴
  • consumer group의 consumer들은 각각의 파티션에 자신이 가져간 메시지의 offset를 기록
  • 각 파티션에 대해 현재 위치를 업데이트 하는 것을 commit
  • commit된 offset < 컨슈머가 처리한 offset : 중복 처리
  • commit된 offset > 컨슈머가 처리한 offset : 누락
  • commit 관리 기법 (1) 자동 커밋
  • enable.auto.commit = true 설정. 5초마다 컨슈머는 poll()를 호출시 가장 마지막 오프셋 커밋
  • auto.commit.interval.ms 옵션을 통해서 커밋 주기 변경 가능
  • 리밸런싱 되면서 중복이 발생할 수 있음 (2) 수동 커밋
  • 메시지를 가져온 것으로 간주되는 시점을 자유롭게 조정

• 특정 파티션 할당

  • 파티션은 key 값에 따라서 데이터 파티션에 할당된다
  • 순서가 보장되어야 하는 데이터의 경우 key 값을 설정한다

참조 : https://firststep-de.tistory.com/43?category=990221