kafka intro

[yeomko22]

1.1. 카프카 탄생

• 링크드인에서 시작, 파편화 된 데이터 파이프라인의 복잡도를 낮추는 것을 목적으로 함

• 이렇게 복잡하게 꼬여있는 복잡하게 꼬여있는 시스템을 단일화 하고자 함

• 이를 통해 웹 사이트, 애플리케이션, 센서 등에서 취함한 데이터 스트림을 한 곳에서 실시간을 관리할 수 있게 되었다.
• 기업의 대용량 데엍 수집, 실시간 스트림으로 소비할 수 있게 만들어주는 일종의 중추!
• 카프카를 중앙애 두어 소스 애플리케이션과 타깃 애플리케이션 사이의 의존도를 최소화하여 커플링을 완화
• 기존 1 대 1 매칭 시스템은 한쪽의 이슈가 다른 한쪽의 애플리케이션에 곧바로 영향, 카프카는 이러한 의돈도를 타파

[yeomko22]

용어 정리

• 프로듀서: 큐에 데이터를 보내는 것
• 컨슈머: 쿠에서 데이터를 가져가는 것
• 토픽:
• 배치 데이터: 초, 분, 시간, 일 등으로 한정된 기간 단위 데이터를 의미, 데이터 일괄 처리가 특징
• 스트림 데이터: 한정되지 않은 데이터, 시작과 끝이 명확히 정해지지 않은 데이터, 클릭 로그, 주식 정보, 사물인터넷 센서 스트림 데이터 등

[yeomko22]

1.2. 빅데이터 파이프라인에서 카프카 역할

높은 처리량

• 직렬화, 역직렬화를 통해 ByteArray로 통신하기 때문에 카프카를 통해 전달할 수 있는 데이터 포맷에는 사실상 제한이 없음
• 엄청난 양의 데이터를 빠르고 안전하게 처리하는 강점을 갖고 있다.
• 많은 양의 데이터를 묶음 단위로 빠르게 처리 가능, 대용량 실시간 로그데이터 처리에 적합

확장성

• 운영 중에 브로커의 개수를 자연스럽게 늘려줄 수 있다.

영속성

• 다른 메세징 플랫폼과는 다르게 데이터를 메모리가 아닌 디스크에 저장
• 카프카 단에서 인메모리 캐쉬를 들고있지 않고, OS 파일 시스템의 페이지 캐시를 믿고 맡겨버린다.

고가용성

• 전송 받은 데이터를 여러개의 브로커에 저장, 일부 브로커가 고장이 나더라도 대응 가능
• on premise 환경의 서버 랙 또는 public cloud의 리전 단위 장애에도 데이터를 안전하게 복제할 수 있는 브로커 옵션 제공

[yeomko22]

1.3. 데이터 레이크 아키텍처와 카프카의 미래

람다 아키텍쳐

• 초기 빅데이터 플랫폼 레거시 데이터 수집 플랫폼을 개선하기 위해 구성한 아키텍처이다.

  

• 배치 레이어와 서빙 레이어 외에 실시간 데이터 ETL 작업 영역을 정의한 아키텍쳐를 만듦 (스피드 레이어)

  • 배치 레이어: 배치 데이터를 모아서 특정 시간, 타이밍마다 일괄 처리
  • 서빙 레이어: 가공된 데이터를 사용자, 서비스 애플리케이션이 사용할 수 있도록 데이터가 저장된 공간
  • 스피드 레이어: 서비ㅡㅅ에서 생성되는 원천 데이터를 실시간으로 분석하는 용도로 사용, 배치 데이터에 비해 낮은 지연으로 분석이 필요한 경우에 스피드 레이어를 통해 데이터를 분석

• 람다 아키텍쳐에서 카프카는 스피드 레이어에 위치

• 람다 아키텍쳐는 실시간 데이터 처리 레이어와 배치 처리 레이어가 분리되는 단점이 있다.

• 이를 극복하기 위해 카프카 창시자 제이 크렙스가 카파 아키텍쳐를 고안했다.

카파 아키텍쳐

• 배치 레이어를 제거하고 스피드레이어로 통일