kafka-streams와 filter/join 사용해보기

[americanomin]

책: http://www.yes24.com/Product/Goods/115226495 참고코드: https://github.com/mitch-seymour/mastering-kafka-streams-and-ksqldb.git 실무사례: https://www.bucketplace.com/post/2022-05-20-%EA%B4%91%EA%B3%A0-%EC%A0%95%EC%82%B0-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90-kafka-streams-%EB%8F%84%EC%9E%85%ED%95%98%EA%B8%B0/

예제: shortenUrl에 노출 api도 만들어서, join해보기

[americanomin]

관련 PR 2: https://github.com/101market/fast-grill-url/pull/46 관련 PR 2: https://github.com/101market/fast-grill-url/pull/47

조인 키

trackId

추가해야할 것

click/conversion의 전환 지표로 삼을 값을 shorten url의 컬럼으로 추가

[americanomin]

이런식으로 토폴로지 만들어보기

[americanomin]

Spring/Streams 셋팅 유튜브

https://developer.confluent.io/learn-kafka/spring/process-messages-with-kafka-streams/

파이썬 카프카 샘플 데이터 생성 코드

source venv/bin/activate 

python -m pip install kafka-python3

python3

from kafka3 import KafkaProducer

producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
producer.send('input-topic', b'testdata')
producer.flush()
producer.close()