Inazuma110 / signate_studentcup2021

SIGNATE Studen Cup2021のPublic 9th, Private 7thのソースコードです.
2 stars 0 forks source link

Cross Validation の実装 #20

Closed Inazuma110 closed 3 years ago

Inazuma110 commented 3 years ago

これをしないと現在公開しているtestデータのスコアで過学習してしまい,コンテスト終了後の本評価で痛い目を見るので,最も優先して実装したほうが良いです. コード残ってたら今までの実装すべてに対して行い,Issueに結果を書いてください.

Inazuma110 commented 3 years ago

例えば,KNNのCross Validation は

model = KNeighborsClassifier(**study.best_params)
accuracy = np.mean(cross_val_score(model, train_train_x, train_train_y, cv=10, scoring='f1_macro'))

みたいに書きます. study.best_paramsにはoptunaで探索されたハイパーパラメータが入っています.

Inazuma110 commented 3 years ago

cross_val_scoreの引数を cv=KFold(shuffle=True, random_state=1)

にしたほうが良いです.じゃないと擬似ラベルの行が固まってしまします.