[Kafka] Streams vs Consumer API

[DrMaemi]

개요

• Kafka Consumer API는 Kafka 메시지를 다루기 위한 기본적 기능들을 제공한다.
• Kafka Streams API는 Kafka Consumer API를 기반으로 real-time 스트림 처리를 위한 기능들을 제공한다.

Kafka Consumer API (Kafka client)

• 어플리케이션이 토픽으로부터 메시지를 처리할 수 있도록 하는 기능을 제공한다.
• Producer, Consumer 로서 동작 Responsibility 분리
• Single processing
• Batch processing
• stateless 동작만 지원한다.
• 비교적 많은 양의 코드를 작성해야 한다.
• 병렬 처리를 위한 기능을 제공하지 않는다. 사용자가 구현해야 한다.
• 여러 Kafka 클러스터로 write 할 수 있다.

Kafka Streams API

• Kafka client 라이브러리 위에서 동작
• 토픽으로부터 스트림 처리를 매우 간단히 구현할 수 있는 기능들을 제공한다.
• Batch processing 기능은 제공하지 않는다.
• stateless 뿐 아니라 stateful 기능을 수행하는 어플리케이션을 작성할 수 있다.
• 비교적 적은 코드로 작성 가능
• 병렬 처리, 분산 코디네이션, fault tolerance, scalability 기능을 제공한다.
• 하나의 Kafka 클러스터와만 동작 가능하다.
• 스트림 파티션과 Task 들을 추상화시켜 기능을 제공한다.

사용 방법 (Dependencies)

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version>
</dependency>

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
    <version>3.4.0</version>
 </dependency>

A. 참조

• Kafka Streams vs. Kafka Consumer, baeldung.com