3일차_뚝배기_실전_아파치카프카

[creaton60]

6장, 7장

[creaton60]

6장 키워드

• 데이터 파이프라인

• 프로듀서의 패턴

  • 미들웨어가 직접 카프카에 메시지를 송신
  • 미들웨어가 직접 카프카에 쏘지 않고 다른 도구로 송신

  • Kafka REST Proxy

• 컨슈머의 패턴

  • Direct 미들웨어
  • 다른 도구를 통해 카프카에서 메시지를 취득 처리/보관

• 스키마 에볼루션

• Scheme Registry

[creaton60]

Kafka Rest Proxy

• 컨플루언트가 오픈소스로 개발하고 있는 카프카의 Restful API

• 메시지 송수신 및 각종 조작은 카프카 전용 프로토콜로 요청 필요

• Kafka Rest Proxy 활용 --> HTTP 프로토콜 조작 가능

• 카프카 클러스터와는 별도로 데몬 프로세스로 사용

• 데몬 프로세스가 외부 애플리케이션에서 HTTP 요청 받고 카프카 클러스터에 메시지 송수신

• 대응되는 Data Format : JSON, Apache Avro, Binary

• Avro?

  • 컨플루언트가 개발하고 있는 스키마 레지스트리와 연계하여 스키마 에볼루션에 의식한 스키마 관리가 가능
  • https://avro.apache.org/

• Kafka REST Proxy : https://docs.confluent.io/current/kafka-rest/docs/intro.html

[creaton60]

[creaton60]

스키마 에볼루션

• 스키마 정의를 운영 중 변경하는 것

• 데이터 파이프라인은 스트림 처리에서 지속적으로 데이터를 처리

• 애플리케이션을 STOP 하기 어려운 경우가 많음

• 스키마 에볼루션의 경우는 정지시간을 최소화해야 하는 경우가 많음

• 전,후 변경 호환성을 고려해야 함

• Apache Avro 는 호환성을 고려할 수 있는 데이터 형태로 전반,후반 호환성 등 일부 호환성 종류 선택 가능

[creaton60]

스키마 Registry

• Apache Avro 를 이용한다는 전제로 한 스키마 관리 기능을 제공
• 컨플루언트가 오픈소스로 개발하고 있는 스키마 정보 관리 도구
• Kafak REST Proxy 와 함께 사용

[creaton60]