kafka connect

[yeomko22]

Kafka Connect

• 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션
• 특정한 작업 형태를 템플릿으로 만들어놓고 커넥터를 실행함으로써 반복을 줄일 수 있다.

커넥터의 두가지 종료

• 소스 커넥터: 프로듀스 역할 수행
• 싱크 커넥터: 컨슈머 역할 수행

커넥트 동작 방식

• 사용자가 커넥트에 생성 명령을 내리면 커넥트는 내부에 커넥터와 테스크를 생성한다.
• 커넥터는 테스크들을 관리한다. 테스크는 커넥터에 종속되는 개념으로 실제 데이터 처리를 진행한다.
• 그렇기에 데이터 처리를 정상적으로 하는지 확인하기 위해서는 각 테스크의 상태를 확인해야한다.