予測分布の可視化を行う

[meltyyyyy]

予測分布の可視化

特徴量エンジニアリングなし

Inner Fold 80 %

Outer Fold 20 %

[meltyyyyy]

考察

• 予測が間違っている場合において, かなり自信を持って間違っている場合が多い. これはbalanced_log_lossだと致命的なスコアに繋がる.
• ラベル0の予想が思ったより自信がなさそう. Postprocess が効く理由がこれだと思う.
• 出力の分布見ながらモデリングするのが大切だと思う. 特徴量の削減やアンサンブルによって分布の変化を目指せるか確認するべきだと思った.

[meltyyyyy]

@TanimotoRui

確認やコメント(あれば)とアンサンブル時の予測分布の可視化をお願いしたい !

[meltyyyyy]

予測分布の可視化

特徴量削減後に一番性能が良かったもの

['DE', 'EL', 'GH', 'FE', 'DY', 'EE', 'EU', 'CH', 'CD ', 'CC', 'GL', 'DL',
       'EB', 'AF', 'FI', 'DN', 'DA', 'FL', 'CR', 'FR', 'AB', 'BQ', 'DU']

Inner Fold 80 %

Outer Fold 20 %

[meltyyyyy]

あまり予測分布に変化はなさそう

[TanimotoRui]

@meltyyyyy サンキュ！一旦今

• lgb
• xgb
• cat
• tabpfn
• ロジスティク回帰

まで終わったからそれぞれの分布と

• 単純な予測値の足し合わせの平均アンサンブル
• スタッキング

の分布まで可視化して日曜とさせていただきます！

[TanimotoRui]

これもしouterの方で一定自信を持って予測できるような分布になればpostprocess効果的かもね