카테고리 가격 분포 탐색

[syleeie2310]

2개 카테고리 각각 작업

스포츠, 셀폰 카테고리 가격 분포 탐색

• 카테고리별 가격 분포 (히스토그램 나눈다고 bin을 어떻게 나눌 수 있을지?, 자동으로 bin 나눠서 그려봐도 되고, density)
• 분명 위 방식처럼 그리면 한쪽으로 치우쳐있으니깐. log10 scale, exp scale

전체로 하지말고 중카 레벨 ---> 평균 가격? 중앙앙 가격? 분위수 (25%, 75%)로 봐야할지?, boxplot으로 보거나? (중카 레벨끼리) 소카 레벨 (소카 레벨끼리)

카테고리에 갯수가 적은 애들은 비교할 때 고민이 필요 (갯수가 적은 카테고리는 제외해서 비교한다던지)

[syleeie2310]

중카, 소카 레벨 별로 분위수 기준으로 잘라서 그래프 다시 그려보기 (박스 plot 등)

[JIYUN0710]

• 찾았던 걸로 이상치 판단했으면, 증빙자료 잘 정리해두기
• 4분위수 말고 극단적인 percentile 값 활용 ex) 만 개로 잘라서 하는 것처럼 더 잘라서 이를 기준으로 이상치 판단해도 됨
• 아니면 또 다른 통계적인 아웃라이어 처리 방식 참고 ex)hampel filter -> 중앙값, 중앙값절대편차 활용

(시각화할 때만)

• 박스플랏에 숫자 표시
• 중카 누적합계 -> 한 그래프 안에
• 소카볼 때, 특정 중카 선택해서 보기

(새로 변수 보기)

• also_view, also_buy 길이 차이/ 길이 분포

• 기초통계량 ex) 브랜드 유니크, 카테고리 유니크 -> 발표 위한 것

• 리뷰 데이터만 있는 asin, 메타만, 둘다, -> cell, sport 둘다 봐보기

[JIYUN0710]

drop column 오류

[syleeie2310]

ALTER TABLE SET TBLPROPERTIES ( 'delta.minReaderVersion' = '2', 'delta.minWriterVersion' = '5', 'delta.columnMapping.mode' = 'name' )

https://docs.databricks.com/en/delta/delta-column-mapping.html