[heehehe] khaiii 활용한 tag 추출 고도화

[heehehe]

plylst_title 활용한 tags 추출

• [x] title 존재하는 파일 개수(train/val/test) 확인
  • train : 모두 존재 / val : 4373개(19%) / test : 2041개(19%)
• [x] title 형태소 분석
  • [x] title 텍스트마이닝
  • [x] 기존 존재하는 태그와 비교
    • 약 13.89% 겹침 (NNG, NNP, SL, XR 품사만 뽑은 경우)
  • [x] title로 태그 추출하는 코드 생성
  • [x] 많이 나온 형태소 대해서 분석 진행할지 품사 종류 결정 --> train에서 title 형태소 분석하면서 판단
• [x] val2, 4기존 코드와 합치기
  • val1, 3에는 제목 존재 X
  • 제출 결과, 기존 0.384972에서 0.389038로 0.004066 향상

기존 tags 활용한 tags 추가 추출

• [x] train 내 tags 형태소 분석
  • [x] 의미없는 형태소 전처리
  • [ ] 기존 tags와의 결과 비교
• [x] val 내 tags 형태소 분석 통한 태그 추가 생성 --> 성능 그다지 좋지 않아서 이용 X
• [ ] 제목 또는 태그에 가수 등장하는 경우 추가 --> 제목에서 시도했을 때 비효율적이라는 판단 하에 이용 X

---

https://colab.research.google.com/drive/1NJI692y8ZgcQbETWyjBHJH1vUrwv9rRw?usp=sharing

[Seong-Han]

• 형태소 분석기는 sentencepiece, khaiii만 사용 가능
• 참고로 저는 khaiii를 사용했고 kaggle kernel상에서 설치가 안되서 로컬 환경에서 형태소 분석기를 돌리고, 결과 파일을 kaggle에 업로드해서 모델링 하는 식으로 했습니다.

[heehehe]

• https://colab.research.google.com/drive/1wGiiRog8aVg-MhR8_bSTyUxG9x6oR43W?usp=sharing#scrollTo=7XoeZOtnlJpz 참고
• khaiii는 colab에서 진행
• khaiii 품사 종류 : https://github.com/kakao/khaiii/wiki/%EC%BD%94%ED%8D%BC%EC%8A%A4

[heehehe]

train 태그 전처리 없이 형태소 분석한 결과

총 722,860개 형태소 존재 품사 및 해당 개수 [('NNG', 441528), ('NNP', 55476), ('ETM', 37410), ('SL', 31299), ('VV', 24006), ('XSA', 23398), ('XR', 19608), ('MAG', 12875), ('JX', 10237), ('ETN', 8496), ('EC', 8372), ('VA', 8109), ('SN', 7700), ('XSN', 5605), ('JKB', 4754), ('NNB', 3702), ('SS', 3369), ('VCP', 3337), ('JKS', 2194), ('VX', 2095), ('XSV', 1921), ('NP', 1568), ('JKO', 989), ('JKG', 945), ('MM', 904), ('IC', 853), ('XPN', 664), ('EP', 530), ('JC', 401), ('NR', 193), ('SH', 99), ('SW', 66), ('MAJ', 41), ('VCN', 23), ('JKV', 21), ('ZZ', 16), ('SO', 14), ('EF', 12), ('SE', 11), ('JKC', 10), ('SP', 6), ('ZV', 3)]

train 태그 전처리 후 형태소 분석 결과 (품사가 'ETM','ETN','XSA','JX','VV'인 길이 1인 형태소 제거)

총 623,244개 형태소 존재 [('NNG', 441528), ('NNP', 55476), ('SL', 31299), ('XR', 19608), ('MAG', 12875), ('EC', 8372), ('VA', 8109), ('SN', 7700), ('XSN', 5605), ('JKB', 4754), ('NNB', 3702), ('VV', 3687), ('SS', 3369), ('VCP', 3337), ('JKS', 2194), ('VX', 2095), ('XSV', 1921), ('NP', 1568), ('JKO', 989), ('JKG', 945), ('MM', 904), ('IC', 853), ('XPN', 664), ('EP', 530), ('JC', 401), ('NR', 193), ('JX', 138), ('SH', 99), ('XSA', 89), ('SW', 66), ('MAJ', 41), ('VCN', 23), ('JKV', 21), ('ETM', 17), ('ZZ', 16), ('SO', 14), ('EF', 12), ('SE', 11), ('JKC', 10), ('SP', 6), ('ZV', 3)]

[heehehe]

많이 나온 형태소 대해서 분석 진행할지 결정 --> train에서 title 형태소 분석하면서 판단하기

title에서 태그 추출방식

• 형태소 분석기 돌리기 전 텍스트마이닝 필요
• 가장 빈번하게 나온 품사만 가지고 진행
• 형용사, 동사 등도 포함 (`-하'로 끝나는건 '-한'으로 바뀌도록) <-- 우선 배제하고 진행