kafka 사용 인프라 아키텍쳐

[yeomko22]

예시 데이터 파이프라인

• 보통 프런트엔드에서 사용자 이벤트를 받으면 이를 스프링 기반의 API 서버를 찌른다. 이게 프로듀서가 된다.
• 프로듀서 앱은 카프카 클러스터에 데이터를 적재한다.
• 이를 컨슈머 단에서 전달 받아서 하둡에 적재한다.
• 카프카 커넥트를 이용해서 엘라스틱 서치에 적재하고, 키바나로 시각화 하기도 한다.

스케일 아웃

• 웹 이벤트가 늘어날 경우에는 먼저 프로듀스 앱 스케일 아웃을 적용한다.
• 그 다음 카프카 파티션 수를 늘려준다.
• 파티션 수를늘려주면 이에 따라 컨슈머 앱의 스레드 개수를 늘려주어야 한다.
• 카프카 커넥트의 경우에는 테스크 개수를 늘려주면 된다.

[yeomko22]

카프카 스트림즈 활용

• 스트림즈는 컨슈머와 프로듀서의 역할을 동시에 수행한다.
• 서버지표들을 실시간으로 수집해서 카프카 스트림즈를 이용해 변환한 다음 이를 DB에 저장한다.