좌표계 데이터 분석

[syleeie2310]

좌표계 데이터 분석

• CF 모델 (아이템 추천 모델) 활용할지가 가장 중요

• 거리를 어떻게 계산할거냐? ㄴ 좌표계 가지고 유클리디안 거리. 거리 계산 방식이 여러가지 있어서 리서치 필요

• 꼭 거리가 유사하지 않아도 지역 기준에서 방식이 여러가지 있을 수 있을거 같은데..

• 그외 데이터 탐색 보고 싶은거 있으시면 봐도 됨.

[syleeie2310]

• 유클리드 거리 (평면에서 두 점 사이의 직선 거리를 계산하는 방식)

• haversine Fourmula ㄴ 피타고라스 정리 (곡선 반영한 방식)

• Geodesic

• pandas_udf 함수 ㄴ cocount 5개 이상.

[YoonjungJang]

https://tacademykr-asacanalysis.cloud.databricks.com/?o=3001521127938963#notebook/804575727070242/command/1214686119501361

[syleeie2310]

-vincenty 공식 함수로 거리 계산 방식 함수로 구현

• 거리가 0인 애들 확인 필요 ㄴ 같은 가게인지? 다른 가게인지? (구글맵에서 확인 필요)
• 거리가 위도/경도가 데이터 잘못 찍혀진 데이터 ㄴ 이상치. 로직
• 혜원님 이야기 해서 활용 feature가 몇개 저장해야 될지.

[YoonjungJang]

좌표 거리 계산 완료 내용

1. 거리가 위도/경도가 데이터 잘못 찍혀진 데이터 수정

• 1000km 이상의 장소 위/경도를 다시 체크하여 주소로 실제 위/경도를 다시 추출
• (*주소 자체가 null이나 이상하여 위/경도가 데이터값을 동일하게 추출하거나 모두를 비교하기 어려움)
• 아래 건들만 수정 1) 실제 위/경도가 다르나 위/경도 값이 동일하게 되어 있던 건 (39개 장소) 2) 캘리포니아 위/경도에서 많이 벗어나는 건 (4개 장소) --> silver의 california_meta 테이블로 위/경도 수정하여 테이블 저장 (hive_metastore.test.california_meta_lanlon_changed)

2. 거리계산 분포 [분포] [최소,최대,평균,분산값]

---> 거리계산값 hive_metastore.test.cali_cocount_distance_all_result_final_4 테이블 저장

3. 이상치 기준 설정

• 캘리포니아 최대 거리 : 1391.1363km (북서쪽 : 위 42.0 경 -124.4 남동쪽 : 위 32.5 경 -114.1333)
• 캘리포니아 거리 1391.1363km 초과의 경우가 2건 있으며, distance 컬럼값 null 처리 (2건) (2건의 경우, 주소 null 값으로 실제 위/경도값을 확인하기 어려움) ---> hive_metastore.test.cali_cocount_distance_all_result_final_5 테이블 저장