실시간으로 데이터 처리 스파크 어플리케이션 작성 - Githubissues

f-lab-edu / league-of-legends-data-solution

‘리그 오브 레전드’를 벤치마킹해서 플레이어의 행동 이벤트를 발생하는 API를 통해 실시간으로 데이터가 잘 흐를 수 있도록 데이터 솔루션을 제공합니다.

2 stars 0 forks source link

실시간으로 데이터 처리 스파크 어플리케이션 작성 #17

Closed Ra99it closed 3 months ago

Ra99it commented 3 months ago

이슈 설명

실시간으로 데이터를 Kafka로 가져와서 데이터를 전처리하는 스파크 애플리케이션을 작성합니다.

기대 결과

Kafka에서 데이터를 읽고 가져와서 데이터 전처리를 진행합니다.
수집된 데이터 중 플레이어의 유저명을 가명화 처리를 진행합니다.
전처리 된 데이터는 S3로 저장됩니다.

실제 결과

현재는 Zeppelin에서 실행 가능한 코드만 작성되어 있습니다.

스크린샷 (필요시)

이슈를 더 잘 설명할 수 있도록 스크린샷을 첨부하세요.

환경

테스트 환경
- AWS EMR
- 마스터 노드 X 1:
  - 인스턴스 타입: m5.xlarge
  - 사용 애플리케이션: Spark, Hadoop, Trino, Hive, Zeppelin
- 워커 노드 X 1 :
  - 인스턴스 타입: m5.xlarge
  - 사용 애플리케이션: Spark, Hadoop, Trino, Hive, Zeppelin
- EC2
- 인스턴스 타입: t3a.large
- 사용 기술 : MYSQL, Kafka

추가 정보

이 이슈에 대한 추가적인 정보나 참고자료가 있다면 여기에 적어주세요.