最終subの選び方の検討材料

[stgkrt]

現在のLBはCVに対してかなり高い。 特に公開コードはLB overfitに見えるのでデータ傾向がpublic/privateで異なる場合に大きくshake down する可能性がある。

[考えたいデータ傾向]

• 分類の難易度(今出ている公開コードでは左右差がある系のターゲットと予測がうまくいっていない)
  • GBDT stackingした方がCVでは改善するがLBは悪化
• vote数(多い方が予測しやすく、学習データをvote数10以上にするとCV/LB改善。CV計算も10以上のみ)
  • 学習データに10より少し少ないぐらいの値が抜け落ちているためそこがTestになっている可能性もありそう

Easyデータに合わせる場合にはPseudo labelingするとかでもよさそう。もちろんCV/LBの確認は必要。

[最終sub候補]

• 公開コード含めたLBの一番良いモデル
• CVの一番良いモデル(stackingのリーク疑いなどの考え方が難しいかも)
• Easy sampleに対するoof scoreが良いもの
• Hard sampleに対するoof scoreが良いもの

[stgkrt]

• stackingは厳しくない？
  • trainingの傾向に対して過学習しているように見える

基本的にはCVが一番いいやつを選ぶのが良い

• stackingでCVがいい場合"fold splitがよくできているのであれば"よさそう
• 2nd stageでデータリークしているかどうかが必要

[stgkrt]

train/testの分布がvote数以外は同じ(vote数3-20=test) vote数×target種類 => easy or hard

public => second stageアリなし比較でpublicで多い分布がわかるはず

• 2nd stage でスコアが良くなるターゲットにoverfitさせるとLBも上がる
  • testはスコアが良くなってないものの方が多いはず？
• 2nd stage でスコアが良くなるターゲットにoverfitさせるとLBが下がる

[TODO]

• trainのうちvote 数 3-20だけを切り出してfold splitしてre run.(1stage)
• tagetを「Seizure + DA」と 「Other + D 」に分けてスコアリングweightを付けて、ensのweight調整する
  • targetとして重きを置いた方のLBが良くなるとそちらがpublicに多い
  • 例) 「Seizure + DA」重め調整でens weightを決めてsubしたときにスコアアップしたら「Seizure + DA」がpublicに多い 　　 => privateに少ない

こうならなかったら宇宙猫になる