리뷰 데이터 전처리

da-analysis / asac_4_dataanalysis

ASAC 4기 Data Analysis Project

0 stars 1 forks source link

Open syleeie2310 opened 4 months ago

syleeie2310 commented 4 months ago

리뷰 데이터 전처리

필요한 feature 추가

syleeie2310 commented 4 months ago

리뷰 데이터 전처리 ㄴ 결측치 없애지 않고 가져가기 (99% 정도는 지워도 되나 vote 같은 경우엔 의미 있는 feature 이므로 탐색적 데이터 분석 목적으로 남기기) ㄴ 스타일에서 어떤 key 가 있는지 확인해보기 ㄴ 리뷰 안에 있는 이미지 피쳐 확인하기

syleeie2310 commented 4 months ago

리뷰 데이터 크니깐 50만개 정도식 잘라서 전처리 해보고 데이터 탐색 해보기

syleeie2310 commented 3 months ago

리뷰 데이터 구글 드라이브 올리기 (2개 카테고리만)
AWS S3 로 올리기 (상열)
해당 파일 가지고 작업
parquet (zstd) 로 저장하기
마지막에 저장할 때 spark.DataFrame > GetNumPartitions 확인해본 다음에 파티션 갯수 보고. repartition(12)
ㄴ 마지막에 GetNumPartitions 해봤는데 30개이면 coalesce(12) 로 줄여서 저장하기

dbfs:/FileStore/amazon/data/v2

syleeie2310 commented 3 months ago

리뷰 데이터 스타일 피처는 그대로 적용하고 2개 데이터의 스키마 동일한지 확인해보기

마찬가지로 델타 테이블로 저장하기

syleeie2310 commented 3 months ago

리뷰 데이터 델타 테이블로 저장하기