Java에서 docker Kafka cluster로 produce가 안되는 문제

[Taaewoo]

문제 상황

• Java에서 Kafka producer 소스 작성 후 실행해도 produce가 안됨.
• Kafka 설정으로는 advertised.listeners 를 docker container ip:port로 설정
  • KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.28.0.6:19092
• Java에서 "bootstrapServers" 를 port forwarding 된 ip:port로 설정
  • String bootstrapServers = "127.0.0.1:19092,127.0.0.1:29092,127.0.0.1:39092";
• Java에서 produce 실행 시 아래의 에러 발생
  • Connection to node 1 (/172.28.0.6:19092) could not be established. Broker may not be available.
  • Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms.

[Taaewoo]

해결 방법

• listeners와 advertised.listeners의 차이 이해 필요

• KAFKA_INTER_BROKER_LISTENER_NAME 설정 필요

  • KAFKA_INTER_BROKER_LISTENER_NAME : INTERNAL

• Producer가 bootstrap-servers으로 설정하는 주소는 Broker 주소이며 실제 metadata를 얻기 위한 주소가 아니다.

  • 실제 metadata를 얻기 위해서는 Broker가 최종 목적지를 Producer에게 전달해줌.
  • 전달받은 최종 목적지에 Producer가 다시 접근함.
  • 이 때 전달 받는 최종 목적지가 advertised.listeners의 값.
  • Host machine에서 포트포워딩 된 주소로 docker container에 접근해야하므로 "localhost:19094"가 필요.

• 최종 Kafka docker compose yaml 파일

  kafka-1:
  image: confluentinc/cp-kafka:latest
  ports:
    - "19092:19092"
    - "19094:19094"
  depends_on:
    - zookeeper-1
    - zookeeper-2
    - zookeeper-3
  environment:
    KAFKA_BROKER_ID: 1
    KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:12181,zookeeper-2:12181,zookeeper-3:12181
    KAFKA_LISTENERS: INTERNAL://kafka-1:19092,EXTERNAL://kafka-1:19094
    KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-1:19092,EXTERNAL://localhost:19094
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
    KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL