Chapter 11. 카프카 커넥트

[LOG-INFO]

끄적끄적

• 예전에 DB CDC를 위해 Debezium, Kafka Connect 도입해본 적 있는데 이번에 좀 더 깊게 공부하게 되었다
• Kafka Connect는 데이터베이스 같은 외부 시스템과 카프카를 손쉽게 연결하기 위한 프레임워크
  • 대용량의 데이터를 카프카의 안팎으로 손쉽게 이동
  • 코드를 작성하지 않고도 준비된 여러 커넥트들을 간단히 사용 가능
  • Source -> Source Connect -> Kafka -> Sink Connect -> Sink
• REST API를 통해 빠르고 간단하게 상태를 조회하거나 설정을 조정하며 유연하게 대응 가능
• 주요 장점
  • 데이터 중심 파이프라인
  • 유연성과 확장성 - 분산모드
  • 장애 및 복구 - 분산모드
  • 재사용성과 기능 확장
  • 기존 100가지가 넘는 여러 커넥터(JDBC, 엘라스틱서치 등) (유료/무료 나뉨)
  • 커스텀 커넥터 생성 가능
• 용어사전
  • Worker: 실제 작업을 진행하는 인스턴스. Connector와 Task를 할당받아 처리
  • Connector: 직접 데이터를 복사하지 않고, 데이터를 어디에서 어디로 복사해야하는 지의 작업을 정의하고 관리
    • ex) JDBC Source Connector, HDFS Sink Connector
  • Task: Connector가 정의한 작업을 직접 수행. 한 Connector에서 여러 Task를 생성하여 여러 Worker에 분산 가능
  • Partition: Record들의 순서에 맞추어 파티셔닝 됨. (Kafka Partition과 역할은 비슷하지만 다른 개념)
  • Offset: 파티션마다 Offset 개념이 있어서, 커넥트의 장애나 실패가 발생하면 해당 Offset부터 실행. (Kafka Offset과는 조금 다름)
    • Connector에 따라 Offset의 기준이 달라짐
    • File관련 Connector는 '파일의 위치'가 Offset
    • DB관련 Connector는 '타임스탬프' 또는 '시퀀스 ID' 등이 Offset
  • Converter: Connector와 Kafka 사이에서 Record를 직렬화/역직렬화
• 분산모드/단독모드
  • 가장 큰 차이점은 메타데이터 저장소 위치
  • 단독모드에서는 메타데이터를 로컬에 저장
  • 분산모드에서는 메타데이터를 Kafka Topic에 저장 (__consumer_offsets처럼)
    • replication-factor는 반드시 3으로 지정
  • 분산모드에서는 Auto Rebalancing을 통해 여러 워커에 Task와 Connector를 균등하게 분산시킴
• 미러메이커
  • 여러 카프카 클러스터에 데이터를 미러링하는 기술
  • 사례
  • 장애 복구 차원에서 다중 데이터 센터를 운영하는 경우
  • 온프레미스에서 클라우드로 마이그레이션
  • 데이터 분석 용도로 카프카와 카프카 간의 리플리케이션
  • 1.0에서의 불편한 점 (2.0에서는 개선)
  • 원격 토픽 생성 시 기본 옵션으로 생성
  • 소스 토픽 옵션을 원격 토픽에 적용하지 못함
  • 한 번 적용한 미러 메이커를 변경하면 재시작해야 함
  • 양방향 미러링 시 무한루프
  • 2.0의 개선점
  • Alias 기능을 통해 원격 토픽 이름에 prefix를 붙여서 무한루프 방지
  • Kafka Connect 지원
    • 성능/신뢰성/확장성 향상
• 기타
  • source/sink의 properties에서 tasks.max를 통해 최대 태스크 수 지정. topic을 통해 어떤 topic을 이용할지 지정

궁금한 점

• 미러메이커 2.0에서 양방향으로 미러링해도 무한루프 발생하지 않도록 alias 기능이 추가되었다는데
  • 그럼 해당 토픽을 실제 Consuming하는 Consumer는 topic1, A.topic1 둘 다 컨슈밍해야 되는거 아닌가?
  • 그냥 message header에 SOURCE_CLUSTER같은 필드 추가해서 미러메이커 내부에서 체크하면 되지 않나?

[minkukjo]

끄적끄적

• 카프카 커넥트는 데이터베이스와 같은 외부 시스템을 카프카와 손쉽게 연결하게 도와주는 프레임워크이다.
• 소스 커넥트 -> 카프카 -> 싱크 커넥트
• 카프카 커넥트에서도 스트림을 파티션 단위로 나눈다. 물론 토픽의 파티션과 이름만 같을 뿐 연관 관계는 없다.
• 분산/단독 모드의 가장 큰 차이는, 메타 정보의 저장소 위치.
• 분산 모드는 메타 정보의 저장소로 카프카 내부 토픽을 이용한다. ( 단독 모드는 주로 데모나 테스트 용도 )
• 미러메키어라는게 있다. 이 녀석은 다중 클러스터 환경에서 사용할 때 적합한데, 주로 데이터를 미러링하는 기술이다.
• 딱히 써볼 일이 있을까..? 싶어서 슈루룩 넘김
• 언젠가 Debezium이나 카프카 커넥트를 연동한 프로젝트를 해보고 싶다.

[MinJunKweon]

끄적끄적

• 분산모드 / 단독모드 두 가지를 명시적으로 별개로 지원하는 것보고 놀람
• API로 카프카 커넥트 상태를 컨트롤할 수 있게끔 지원하는 방식도 신기했음
• 카프카 커넥트도 메타 정보를 카프카 내부 토픽을 사용하는군
• 카프카 클러스터 간의 이중화를 위해 미러 메이커라는 도구를 기본 제공하고 있구나
• Debezium이라는 커넥터도 존재하는구나

궁금궁금

• 파일 소스 커넥터의 경우 파일을 스트림으로 보는 것 같은데, 그렇다면 파일이 변경되면 실시간으로 인식할지?