feat: Spark Batch용 어플리케이션 추가

[Ra99it]

추가 사항 개요

Silver Layer는 분석용과 학습용 두가지의 용도로 배치 작업을 실행합니다.

Gold Layer는 최종 BI 분석을 위한 용도로 배치 작업을 실행합니다.

관련 이슈

24

추가 사항 상세 설명

• 분석용 데이터는 다음과 같은 과정을 거칩니다.
  • current_time과 datetime 타입에 맞게 형변환을 합니다.
  • 데이터의 Null값이 있는지 체크합니다.
  • x+y의 새로운 컬럼과 아이템 구매를 확인할 수 있는 컬럼을 추가합니다.
  • room_id와 currnet_time을 기준으로 오름차순으로 정렬합니다.
• 학습용 데이터는 다음과 같은 과정을 거칩니다.
  • champion, room_id, inputkey를 StringIndexer로 범주형 데이터를 숫자형 인덱스로 변환합니다.
  • 학습에 필요한 데이터만 선택 후 저장합니다.
• 최종 분석용 데이터는 다음과 같은 과정을 거칩니다.
  • 방마다의 종료 시간
  • 특정 키를 입력한 퍼센트
  • 방마다 챔피언의 평균 데스 카운트
  • 방마다 챔피언의 xy 표준 편차

추가 고려 사항

API가 수집하는 플레이어 데이터가 정규화되지 않는 데이터이기 때문에 브론즈 레이어와 실버 레이어의 차이점이 크게 없습니다. 이 부분은 추후에 API 작업이 필요할 거 같습니다.

스크린샷 (필요시)

• 변경된 UI가 있는 경우, 전후의 스크린샷을 첨부하세요.
• 변경 사항을 시각적으로 보여줄 수 있는 자료를 제공하세요.

체크리스트

• [X] 코드가 정상적으로 컴파일되고 빌드됩니다.
• [ ] 모든 테스트가 통과되었습니다.
• [ ] 관련 문서가 업데이트되었습니다.
• [X] 팀원들이 리뷰할 준비가 되었습니다.

기타

• 추가로 공유하고 싶은 내용이나 문의 사항이 있으면 작성하세요.