PCA > 텍스트 리뷰 코사인 유사도

[syleeie2310]

Summary

Todo

Importance

Reference

[syleeie2310]

• 피쳐 계산 + 코사인 유사도 계산하는 함수들은 서버리스에서 데이터 불러와서 저장까지 하는거 해보기.
• 저장한 다음에 피쳐 넘겨주시고 실험한 다음 (전체 코사인 평균)
• co-count 없는 쌍. ㄴ 텍스트 리뷰 갯수가 어느 정도 -> 대략 1억개. (candinate 확보)

[syleeie2310]

128차원 -> 20~60 (코사인 유사도 9개)

9개 중에서 몇개 feature만 사용해서 평균 코사인 유사도. candinate 추천시스템

[syleeie2310]

• 리뷰가 가장 많은거부터 1만개 선정. (리뷰 갯수가 최대 9900개 - 최소 1천개)
• 9개 코사인 유사도 계산
• 총 3개 버전 1) 5개 (feature importance 높은거 5개 기준) 2) 9개 (모두 사용했을 때) 3) 4개 (feature importance 높은거 4개 기준)

[syleeie2310]

아이템 to 아이템 1) gbdt 2) 하이브리드 (feature add) 3) 텍스트 to 텍스트 코사인 유사도

2번 평가해보고 괜찮으면 2번 쓰고 아니면 1,3번 -> gmap_id1 기준으로 겹치는 거 대략 1천개 정도만 X 20개 -> 1,2번 / 3번 (2만개식 / 2만개식)

희선님이 3번 데이터셋의 (2만개) -> 텍스트 리뷰 merge한 데이터 그걸로 왼쪽 데이터로 조인해서 따로 데이터셋 만들어서 -> 수정님 수정님 -> LLM 요약 테스트