[FEAT] CatBoost 특징 변경하여 실험해보기

[twndus]

Background

• CatBoost는 현재 입력 특징으로 context_data를 사용하고 있는데, 특징을 ID(CF) 부터 빼보며 ablation study를 해보자

To do

• [x] full 성능 측정
• [x] 특징 하나씩 뺐을 때의 성능 측정
• [x] ID만 남았을 때의 성능 측정 (CF 모델)

[twndus]

하이퍼파라미터 고정

CatBoostConfig = {
    'learning_rate': 1e-1,
    'depth': 6,
    'iterations': 5000,
    'min_child_samples': 40,
    'grow_policy': 'Depthwise',
    'early_stopping_rounds': 100,
}

[twndus]

단 입력 데이터 크기 자체가 줄어드는 것에 영향을 받기도 하므로, language 데이터가 모델에 큰 영향을 미치지 못한다고 판단하기는 어려움.

다시 도돌이표..

[twndus]

• ID만 사용
  • learn: 2.2290439 - 20231221_042804_CatBoost
  • valid: 2.1857484
• ISBN 사용 x (public 2.1486) - 20231219_004224_CatBoost
  • learn: 2.1527437
  • test: 2.1380864
• ISBN 사용 (public 2.1455) - 20231220_063842_CatBoost
  • train: 2.0987411
  • test: 2.1336318
• ISBN + book embedding - 20231220_055932_CatBoost
  • learn: 2.1170877
  • test: 2.1355477

[twndus]

book embedding 을 제외한 모든 데이터를 포함하였을 때의 성능이 가장 좋은 것을 확인함