train, test Feature 추가

[dlrgy22]

5 : train + test를 이용하여 feature을 추가, user_id의 마지막 삭제 하고 acc측정 ⇒ validation 약 80.7

6 : 5와 모델구조 + 파라미터는 같지만 feature를 추가하지 X ⇒ validation 약 76.8

feature를 추가하였을 때 validation은 더 높아졌지만 실제 test data에 대하여 떨어지는 문제

feature 추가 코드 https://www.notion.so/Add-features-New-version-37332293507049d083b63ee0ef762132#8ff445d08b3e419da017683c6d451d93

[dlrgy22]

1. train 미래에 대한 정보가 들어갔을 가능성
2. train 데이터와 test 데이터의 분포가 달라 feature를 추가했을시 데이터 크기가 더 큰 train 분포에 맞는 feature들이 추가 되어 떨어졌을 가능성

2가지 정도가 생각나는데 코드에서 잘못된점 혹은 다른 가능성에 대해 생각나시는게 있으실까요?

[sunnight9507]

LGBM에서 Overfitting 해결이 됐는데 사용하는 모델이 달라서 참고만 해주시면 될 거 같습니다.

해결 방법

1. 시간 차이에 대한 feature 삭제

• Why? test data 입장에서 시간 차이에 대한 정보를 전혀 확인 할 수 없다.
• 가장 효과 있었던 방법

  2. LGBM parameter 변경

  3. test data answer에 임의의 값 설정

• 현재 -1인데 groupby를 사용하면 mean, sum 계산에 들어간다. 물론 크게 차이는 안나겠지만 혹시나..
• user mean과 question mean을 사용해서 분포에 맞게 0 또는 1로 임의의 값 설정 후 Feature Engineering 진행했습니다.