TF-IDF 까지 1차 구현 완료

[jin5335]

분석

진행 상황

• [x] TF-IDF 까지 1차 구현 완료
• [x] 코드 정리
• [x] 연관도 (단어-단어, 문서 - 문서, 문서 - 단어 )
• [ ] 여러개의 단어로 질의 (skip)

결과

• TF-IDF 가 큰 값으로 top 20

part-00000-4fdac083-77ee-4add-b15e-79a0e10d5c88-c000.csv

시각화

• dc-wordcloud 아래에서 진행.

진행상황

• [x] 예제 데이터 시각화
  • [ ] mouseOver 이벤트 추가 (날짜별 동일 단어 강조)
  • [ ] tf-idf top20이 아닌 20~40 등 사용한 결과 보기

결과

[jin5335]

SVD 결과

[jin5335]

날짜 + 갤러리로 tf-idf 한 결과

• 한 갤러리에 대해 여러 날짜로 할 경우에는 좋은 결과가 안나옴 x
• 여러 갤러리, 여러 날짜로 해야됨

[jin5335]

dc_scraper.py에 날짜(20210808, %Y%m%d)를 인자로 받아서, 주어진 날짜 이후부터 프로그램 실행 시간까지 page 가져올 수 있도록 코드 추가했습니다~

[jin5335]

TF-IDF를 이용하여 갤러리별 top20 단어 추출

• 사용한 데이터: 2021-08-16~2021-08-19
• tokenizer: white space separator or komoran
• vocabSize: 5000 / 10000/ 20000

top20_terms_by_gal.csv

20000_top20_terms_by_gal.csv

morphs_top20_terms_by_gal.csv

morphs_10000_top20_terms_by_gal.csv

[jin5335]

d3, d3-cloud를 이용해서 짜치게 구현만 해봤어요 ㅋㅋㅋㅋ

[jin5335]

• sbt를 jar로 빌드하는 방법은 https://moons08.github.io/programming/scala_build/ 를 참조했습니다.
• spark-submit 하는 방법은 https://moons08.github.io/programming/scala_build/ 를 참조했습니다.