데이터 전처리 후 FM/FFM 결과

[jwj51720]

10월 31일

• FM/FFM으로 전처리 후 변화 실험을 했습니다. rating과 feature를 사용하므로 전처리 효과가 가장 눈에 띌 것으로 판단하였습니다.
• 기존의 baseline code를 통해 돌린 결과와 변화된 code를 돌린 결과의 비교입니다.
• 전처리를 마친 후 새로운 csv 파일을 생성하여 실험하였는데, feature가 변하다보니 기존 baseline code와 충돌이 있어서 수정한 부분이 있습니다.

• 데이터 전처리에서 새로운 접근을 했습니다.

  • users (기존과 동일)
    • user_id,location_state,location_country 사용
    • state를 지우고 나서의 결과를 실험해봐야 할 것 같습니다.

  • books

    • isbn, book_title, book_author, year_of_publication, publisher, img_url, img_path, category_high, isbn_country 사용
    • category의 구조적인 개편이 필요하다는 판단으로, category_high를 다시 짜봤습니다.

    • 
      groupings = {'Fiction': ['fiction'], # 너무 넓으니 맨 위로 빼자
       'Literature & Poem': ['liter', 'poem', 'poetry'],
       'Science & Math': ['science', 'math', 'logy'], # science, logy 범위가 너무 넓으니 맨 위로
       'Parenting & Relationships': ['baby', 'parent', 'family', 'tionship', 'brother', 'sister'], # 좀 큼
       'Medical Books': ['medi', 'psycho'], # psy의 세분화 가능
       'Animal & Nature': ['animal', 'ecolo', 'plant', 'nature'],
       'Arts & Photography': ['art', 'photo'], # art는 겹치는 글자가 너무 많음
       'Biographies & Memoirs': ['biog', 'memo'],
       'Business & Money': ['busi', 'money', 'econo'],
       'Calendars': ['calen'],
       'Children\'s Books': ['child', 'baby'],
       'Christian Books & Bibles': ['christi', 'bible'], #크리스마스때매
       'Comics & Graphic Novels': ['comics', 'graphic novel'],
       'Computers & Technology': ['computer', 'techno', 'archi'],
       'Cookbooks, Food & Wine': ['cook'],
       'Crafts, Hobbies & Home': ['crafts'],
       'Education & Teaching': ['educa', 'teach'],
       'Engineering & Transportation': ['engine', 'transp'],
       'Health, Fitness & Dieting': ['health', 'fitness', 'diet'],
       'History': ['histo'],
      
       'Humor & Entertainment': ['humor', 'entertai', 'comed', 'game'],
       'Law': ['law'],
       'LGBTQ+ Books': ['lesbian', 'gay', 'bisex'],
       'Mystery, Thriller & Suspense': ['myste', 'thril', 'suspen'],
       'Politics & Social Sciences': ['politic', 'social'],
       'Reference': ['reference'],
       'Religion & Spirituality': ['religi'],
       'Romance': ['romance'],
       'Science Fiction & Fantasy': ['science fiction', 'fantasy'],
       'Self-Help': ['self'], # self 검색시 모두 자기계발 관련
       'Sports & Outdoors': ['exerc','sport','outdoor'],
       'Teen & Young Adult': ['teen', 'adol', 'juven'], #nonfiction이란 말은 청소년 관련뿐
       'Test Preparation': ['test', 'school', 'examina'],
       'Travel': ['travel'],
        }

    • category를 copy하여 category_high를 만드는 것은 동일하고, 특정 단어가 포함된 category를 상위 category_high로 편입했습니다.
    • 이후 null 값인 category_high는 'Unclassified'를 넣었습니다. 이에 title이나 summary에서 단어를 탐지하여 category를 채워 넣는 방법도 생각해 보았지만, 하진 않았습니다.
    • 또한 10개보다 적은 category_high도 'Unclassified'로 편입하였습니다. (약 5000개)
    • 편입 전에도 'Unclassified'는 68,851개이므로 fiction 분류를 2배 상회합니다. 따라서 5000개를 더하는 것은 큰 차이가 없을 것이라 판단하였습니다. (가정이므로 이 부분은 논의 필요)
    • category에서는 대략적인 선호 경향만 판단한다는 생각으로 한 것입니다.

    • for i in range(len(books)): # 5033개의 항목을 미분류로 편입
       if books.at[i, 'count'] < 10:
           books.at[i, 'category_high'] = 'Unclassified'
      
      books_count = books.groupby('category_high').count()['isbn'].to_dict() # category_high별 isbn 수?
      for i in range(len(books)):
       books.at[i, 'count'] = books_count[books['category_high'][i]] # 다시 세보자 미분류가 5033개 늘었으면 성공

  • train (기존과 동일)
    • 평가 개수가 1개인 users를 지우는 작업은 유지했습니다.
• FM 결과 (validation: rmse, EPOCHS 5)
  • (기존) 2.7827692883223065 / 2.483012513959215 / 2.391505288473704 / 2.356708161405602 / 2.3483070920794575
  • (변화) 2.803336829979397 / 2.4609553445409977 / 2.356840684131076 / 2.3118379927375354 / 2.2923522574542092
• FFM 결과 (validation: rmse, EPOCHS 5)
  • (기존) 2.8432382145623225 / 2.4690110892899186 / 2.4217004251018803 / 2.4197879972859884 / 2.4297987551294873
  • (변화) 2.847368891183112 / 2.4110501505639736 / 2.3463181364768313 / 2.3577231505614713 / 2.374070133978513
• 결과적으로 FM의 경우 2.29 정도가 나왔습니다. EPOCH 6일 때는 2.290까지 떨어집니다.
• 그러나 AIstages에 제출했을 때 2.3336이 나와서 슬펐습니다. (10월 31일 1회 소모)
• 결론 및 고찰
  • 위 전처리 과정은 feature를 사용하는 모델에서 유의미합니다.
  • cross validation을 해야 할 것 같습니다. (시도하였으나 적용하기 어려워서 일단 보류했습니다.)
  • 개인적으로는 age feature를 사용하고 싶습니다. books의 category만큼이나 중요한 정보라고 생각됩니다.
    • na에 대해서는 조치 필요
  • item based CF(이것도 시도하였으나 어려워서 일단 보류)와 딥러닝 모델을 시도해보고, 앙상블 해보려 합니다.

[jwj51720]

10월 31일 추가 실험

FM - 평가가 n개인 rating까지 삭제

• n = 2 (train 수 27만 -> 25만) (train_ppp)
  • epoch 6 때 validation: rmse: 2.2420829769306057
  • n = 1 때보다 확실히 감소가 있었음
• n = 3 (train 수 25만 -> 24만)
  • epoch 6 때 validation: rmse: 2.254874140608274
  • n = 2까지 자르는 게 맞는 듯

    FM - state만 삭제 (users_pp2)

• epoch 6 때 validation: rmse: 2.250837777462422
• state는 살리는 게 좋음

  FM - state 삭제, 식별되지 않은 나라는 anycountry로, age는 나라별 평균으로 채움 (users_ppp)

• epoch 6 때 validation: rmse: 2.242737494910726
• 크게 의미 없음

  FM - state, country 살림 (anystate, anycountry), age는 나라별 평균으로 채움 (users_ppp2)

• epoch 6 때 validation: rmse: 2.249988556873911
• state 살리는 건 좋은데... user를 좀 쳐낼 필요가 있겠음

  FM - state,country 살림, 다만 빈 user는 삭제(기존 방식), age는 age는 나라별 평균으로 채움 (users_pppp)

• epoch 6 때 validation: rmse: 2.242133736073858
• 크게 의미 없음

  CNN_FM 관련 이슈

• 결과 csv를 열어보면, 점수가 10점을 넘는 항목들이 존재함.
• 50, 60 점도 존재하여 예측단에서 문제가 있는 것으로 보임.

DL 모델을 사용하면?

• DL 모델은 feature를 사용하지 않는데, 이걸 고치면 가능할지 의문. 다시 찾아봐야함.
• NCF
  • EPOCHS 7, 2.337468216889626
• DCN
  • EPOCHS 10, 2.3495421841618764
• WDN
  • EPOCHS 9, 2.400330710517095

시도해볼 점

• publisher, author도 잘못된 경우가 있을 수 있음
• 오타, 축약, aka 등 카테고리 처리할 때처럼 해야 하나?

[41ow1ives]

groupings = {'Fiction': ['fiction', 'ficti'], # 너무 넓으니 맨 위로 빼자 'Literature & Poem': ['liter', 'poem', 'poetry', 'novel', 'sonnet'], 'Science & Math': ['science', 'math', 'logy', 'chemis', 'physics', 'electron'], # science, logy 범위가 너무 넓으니 맨 위로 'Parenting & Relationships': ['baby', 'babies', 'parent', 'family', 'friend', 'tionship', 'brother', 'sister', 'families', 'friendship', 'mother', 'father'], # 좀 큼 'Medical Books': ['medi', 'psycho'], # psy의 세분화 가능 'Adventure' : ['adventu'], 'Animal & Nature': ['animal', 'ecolo', 'plant', 'nature', 'cat', 'dog', 'pets', 'bird', 'bear', 'horse', 'frog', 'duck', 'rabbit', 'dolphin', 'mice', 'deer', 'panda', 'kangaroo', 'lizzard', 'gorilla', 'chimpangee', 'bat', 'insect'], 'Arts & Photography': ['art', 'photo', 'drawing', 'picture'], # art는 겹치는 글자가 너무 많음 'Authors' : ['authors'], 'Biographies & Memoirs': ['biog', 'memo'], 'Business & Money': ['busi', 'money', 'econo', 'finance'], 'Calendars': ['calen'], 'Children\'s Books': ['child', 'baby'], 'Christian Books & Bibles': ['christi', 'bible'], #크리스마스때매 'Christmas' : ['christma'], 'Comics & Graphic Novels': ['comics', 'graphic novel'], 'Computers & Technology': ['computer', 'techno', 'archi'], 'Cookbooks, Food & Wine': ['cook', 'wine', 'food'], 'Countries & Cities' : ['united states', 'russia', 'france', 'africa', 'china', 'japan', 'egypt', 'germany', 'ireland', 'california', 'berline', 'london', 'new york', 'canada', 'chile', 'italy', 'europe', 'australia', 'great britain', 'arizona', 'chicago', 'netherlands', 'calif', 'mexico', 'colombia', 'greece', 'florida', 'algeria', 'new zealand', 'austria', 'denmark', 'washington', 'india', 'england', 'brazil'], 'Crafts, Hobbies & Home': ['crafts', 'hobb', 'home', 'house', 'garden'], 'Crime & Murder' : ['crime', 'murder', 'criminal', 'homicide', 'mafia', 'gang', 'drug'], 'Critic' : ['critic'], 'Education & Teaching': ['educa', 'teach'], 'Drama' : ['drama'], 'Design' : ['design'], 'Engineering & Transportation': ['engine', 'transp'], 'Encyclopedia & Dictionary' : ['encyclo', 'dictiona', 'vocabulary'], 'Essay' : ['essay'], 'Health, Fitness & Dieting': ['health', 'fitness', 'diet'], 'History': ['histo', 'war'], 'Humor & Entertainment': ['humor', 'entertai', 'comed', 'game', 'comic'], 'Law': ['law'], 'Language' : ['language'], 'LGBTQ+ Books': ['lesbian', 'gay', 'bisex'], 'Mystery, Thriller & Suspense': ['myste', 'thril', 'suspen', 'horror', 'occult'], 'Music & Dance' : ['music', 'dance', 'instrument', 'ballet', 'classic'], 'Movie' : ['motion pictur', 'actor', 'actres', 'acting', 'cinema', 'theater', 'director', 'television'], 'Politics': ['politic', 'president'], 'Philosophy' : ['philoso'], 'Reference': ['reference'], 'Religion & Spirituality': ['religi', 'buddh', 'spirit', 'god', 'prayer', 'belief', 'doubt'], 'Romance': ['romance'], 'Science Fiction & Fantasy': ['imagin', 'science fiction', 'fantasy', 'fairy', 'fairies', 'vampire', 'epidemic', 'ghost', 'alien', 'supernatural', 'magic', 'dragons', 'elves', 'angel', 'devil'], 'Short story' : ['short'], 'Social Science' : ['social', 'ethic', 'communism', 'capitalism', 'generation', 'culture'], 'Self-Help': ['self'], # self 검색시 모두 자기계발 관련 'Study': ['test', 'school', 'examina', 'study aids', 'college'], 'Sports & Outdoors': ['exerc','sport','outdoor', 'baseball', 'soccer', 'hockey', 'cricket', 'basketball', 'footbal'], 'Teen & Young Adult': ['teen', 'adol', 'juven'], #nonfiction이란 말은 청소년 관련뿐 'Travel': ['travel'], 'Women' : ['women'], }