데이터 column별 상위 몇 개의 항목만 남기는 전처리

[jwj51720]

1. books (books_1102.csv)

• 요약) books의 최종 column
  • isbn
  • book_title
  • book_author
  • year of publication
  • publisher
  • img_url
  • img_path
  • category_high
  • isbn_country

    1.1 카테고리 관련

• 기존 상위 10개의 카테고리는 다음과 같음
  • Unclassified 68851 (카테고리가 빈 것들이 절대 다수)
  • fiction 33016
  • juvenile fiction 5835
  • biography autobiography 3326
  • history 1927
  • religion 1818
  • juvenile nonfiction 1418
  • social science 1231
  • humor 1161
  • body mind spirit 1113
• grouping 이후 상위 10개의 카테고리는 다음과 같음 (일단 카테고리는 내 방식대로 두고 진행하겠음)
  • Unclassified 68851
  • Fiction 33842
  • Teen & Young Adult 7351
  • Biographies & Memoirs 3368
  • Religion & Spirituality 3009
  • History 2058
  • Humor & Entertainment 2053
  • Animal & Nature 1403
  • Parenting & Relationships 1388
  • Arts & Photography 1368
• 10개 미만 카테고리를 다 미분류에 넣으면 다음과 같음 (일단, 지금까지는 이 분류가 성능이 가장 좋았으므로 유지하겠음)
  • Unclassified 72151
  • Fiction 33842
  • Teen & Young Adult 7351
  • Biographies & Memoirs 3368
  • Religion & Spirituality 3009
  • History 2058
  • Humor & Entertainment 2053
  • Animal & Nature 1403
  • Parenting & Relationships 1388
  • Arts & Photography 1368

    1.2 isbn_country 관련

• isbn country로 언어 분류한 것의 상위 10개는 다음과 같음
  • english 134405 (미국 캐나다 영국 호주 - 절대 다수)
  • german 6706 (독일)
  • franch 3405 (프랑스) - 프랑스어 책이 유저 나라에 비해 겁나 많음 이러면 유저도 프랑스 사람 분류해야 함-
  • espanol 3399 (스페인) - 3위랑 차이가 별로 없어서... 여기까지 나누자, 그러면 이에 맞게 스페인 사람도 넣어야겠다-
  • italy 482 (이탈리아)
  • argentina 242
  • netherlands 176
  • portugal 106
  • mexico 95
  • japan 80
• 결과
  • english 134405 german 6706 franch 3405 espanol 3399 others 1655 Name: isbn_country, dtype: int64

2. users (users_1102.csv)

• 요약) users의 최종 column
  • user_id
  • location_country

    location country 관련

• 상위 10개의 location_country는 아래와 같음
  • usa 45301
  • canada 6538
  • germany 3609
  • unitedkingdom 3148
  • australia 1821
  • spain 1692
  • italy 830 -이탈리아 사람이 프랑스 사람보다 많긴 하지만 책에서 이탈리아 뺐기 때문에 분류하지 않음-
  • france 829 - 프랑스 사람까지 분류-
  • newzealand 462
  • switzerland 459
• 참고사항
  • state는 country에 종속적이며, country 상위 3개만 취했을 때 state는 미국 또는 캐나다의 주만이 남을 것이므로 의미 없다 판단하여 삭제
  • others는 원래 비어있었거나, 이상하게 입력된 것으로 기존 285개
  • italy부터 anycountry로 편입 (프랑스 제외)
• 결과
  • usa 45301 canada 6538 anycountry 5154 germany 3609 unitedkingdom 3148 australia 1821 spain 1692 france 829 Name: location_country, dtype: int64