0213 진행 내용

[Sisi55]

배포

혜정: 도커 시현: 만든 인스턴스

---

해올 일

혜정:

• [x] 자동화 프로그램
• [x] 좋아요 api

시현:

• [x] click api 보완 userId 파람으로 전달

---

파이프라인 구조

적재: 프로젝트 > 카프카 > (카프카 스트림즈) > 스파크 > hdfs 분석: pyspark, spark ml 탐색: hive(sql)

---

조사가 필요한거

• kafka to spark 연결하는 방법
• spark to hdfs 연결하는 방법
• 도커를 써도 괜찮을 것인지 알아오기
• [x] confluent 설정 후, 계정 공유.
• [x] kafka 사용 코드 정리해서 공유
• [x] 패캠 계정 공유하기

---

스프링부트에서 카프카 사용하기

• kafka 에 전송할 producer https://github.com/Ubiquodings/ShoppingMall/blob/master/src/main/java/com/ubic/shop/kafka/service/KafkaSevice.java

• producer 사용 https://github.com/Ubiquodings/ShoppingMall/blob/master/src/main/java/com/ubic/shop/api/RestAPIController.java#L92

• dto 는 평범하다 https://github.com/Ubiquodings/ShoppingMall/blob/master/src/main/java/com/ubic/shop/kafka/dto/ClickActionRequestDto.java

• kafka consumer https://github.com/Ubiquodings/ShoppingMall/blob/master/src/main/java/com/ubic/shop/kafka/UserActionConsumer.java

• build.gradle 및 .yml 설정을 생략합니다

---