search

da-analysis / asac_5_dataanalysis

ASAC 5기 Data Analysis Project (google map recommendation system)
0 stars 1 forks source link

리뷰 텍스트 데이터 탐색 (하와이) #23

Closed syleeie2310 closed 4 months ago

syleeie2310 commented 4 months ago
syleeie2310 commented 4 months ago
syleeie2310 commented 4 months ago

아래 코드 참고할 것 https://github.com/da-analysis/asac_4_dataanalysis/blob/main/1.%EC%A0%84%EC%B2%98%EB%A6%AC%26EDA/0323_review_text.py https://github.com/da-analysis/asac_4_dataanalysis/blob/main/1.%EC%A0%84%EC%B2%98%EB%A6%AC%26EDA/0406_text.py

syleeie2310 commented 4 months ago

어떤 클러스터에서 할지 패키지 설치 등은 제가 확인해보고 말씀드릴게요.

syleeie2310 commented 4 months ago

da-text-cluster에 spark.nlp 설치 올려놧으니깐, spark-nlp 공부해서 그거 쓰세요! @heesunTukorea

syleeie2310 commented 4 months ago

오전에 세팅 해놨는데 말한다는걸 깜박했네요 ;;

syleeie2310 commented 4 months ago
heesunTukorea commented 4 months ago

리뷰텍스트 노션입니다 추후 업데이트 될 예정입니다

https://quick-celsius-ee6.notion.site/review_text-a954c6b769d34a1988a519962e8bb5be?pvs=4

syleeie2310 commented 4 months ago

재방문 의사가 4gram 가 왔음

syleeie2310 commented 4 months ago

SBERT 논문 리뷰

허깅 페이스에 있는 모델 확인해보기

허깅페이스 모델 작은 것 -https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

syleeie2310 commented 4 months ago

해보고 안되면 수요일날 spark nlp > sbert로 데이터 저장부터 하기

syleeie2310 commented 4 months ago

BERT 리서치

nobic embedding -> nomic-embed / sentence embedding

syleeie2310 commented 4 months ago

토요일까지 SBert / Nomic 임베딩 데이터 저장 필요.

syleeie2310 commented 3 months ago

텍스트 리뷰를 sBERT로 저장하고 나서 어떤 방향으로 활용할지 ㄴ sentence embedding -> document embedding ㄴ 노믹 임베딩