Open LOG-INFO opened 1 year ago
Worker
Connector
Task
Partition
Offset
Converter
__consumer_offsets
Auto Rebalancing
tasks.max
topic
topic1
A.topic1
SOURCE_CLUSTER
끄적끄적
Worker
: 실제 작업을 진행하는 인스턴스. Connector와 Task를 할당받아 처리Connector
: 직접 데이터를 복사하지 않고, 데이터를 어디에서 어디로 복사해야하는 지의 작업을 정의하고 관리Task
: Connector가 정의한 작업을 직접 수행. 한 Connector에서 여러 Task를 생성하여 여러 Worker에 분산 가능Partition
: Record들의 순서에 맞추어 파티셔닝 됨. (Kafka Partition과 역할은 비슷하지만 다른 개념)Offset
: 파티션마다 Offset 개념이 있어서, 커넥트의 장애나 실패가 발생하면 해당 Offset부터 실행. (Kafka Offset과는 조금 다름)Converter
: Connector와 Kafka 사이에서 Record를 직렬화/역직렬화__consumer_offsets
처럼)Auto Rebalancing
을 통해 여러 워커에 Task와 Connector를 균등하게 분산시킴tasks.max
를 통해 최대 태스크 수 지정.topic
을 통해 어떤 topic을 이용할지 지정궁금한 점
topic1
,A.topic1
둘 다 컨슈밍해야 되는거 아닌가?SOURCE_CLUSTER
같은 필드 추가해서 미러메이커 내부에서 체크하면 되지 않나?