[Batch] : kafkaProducer

[yeollow]

Kafka Producer Batch proces

workflow 상기 workflow는 개발 환경(local, dev, prod)에 따라 다르게 구성

Spring Batch Job and Step .csv파일을 읽어 kafka topic에 전달한다.

• Tasklet

  • FlatFileItemReader : .csv파일을 읽어들인다.

  • ItemProcessor : MR과정은 추후 Spark Application에서 진행 후 DB에 저장한다.

  • KafkaItemWriter : 읽어들인 .csv파일을 kafka topic에 batch작업으로 전달한다.

    • consumer를 통해 확인할 수 있어야 한다.

  • CCTV / Police등 각 데이터에 대해 Tasklet을 진행한다.