kafka mirror maker 2 - Githubissues

yeomko22 / TIL

Today I learned

1 stars 0 forks source link

kafka mirror maker 2 #113

Open yeomko22 opened 2 years ago

yeomko22 commented 2 years ago

kafka mirror maker2

서로 다른 두 개의 카프카 클러스터 간에 토픽을 복제하는 애플리케이션이다.
직접 프로듀서와 컨슈머를 사용해서 미러링을 구현하는 애플리케이션을 개발하면 되지만, 미러메이커를 사용하는 이유는 토픽의 모든 것을 복제할 필요성이 있기 때문이다.
특히 동일 파티션에 동일 레코드가 들어가도록 하는 작업은 파티셔너에 대한 정보 없이는 불가하다.
또한 복제하는 토픽의 파티션 개수가 달라지면 복제된 데이터를 저장하는 토픽의 파티션 개수도 달라져야 한다. 이런 기능을 지원하는 것이 카프카 미러메이커이다.
미러메이커2는 단방향, 양방향 복제, ACL 복제, 새 토픽 자동 감지 등의 기능을 지원한다. 이는 클러스터를 2개 이상 지원할 때 빛이 난다.

yeomko22 commented 2 years ago

Geo-Replication

active-standby: 비상시를 대비해 스탠바이 클러스터를 두며, 이 떄 지리적으로 분리할 수도 있다.
active-active: 글로벌 서비스 애플리케이션 통신 지연을 최소화하기 위해 2개 이상의 클러스터를 두고 미러링하면서 사용 가능하다.
hub-spoke: 각 팀에서 소규모 카프카 클러스터를 사용하고 있을때 이를 하나의 클러스터로 모아 데이터 레이크로 사용하는 방식