Closed nogawanogawa closed 1 year ago
深層学習はテキストや画像の分野で多大な進歩を果たしてきた。 しかし、表敬式のデータに対する優位性は未だ明らかになっていない。
特に先行研究では、標準的なデータセットもなく、ハイパーパラメータのチューニング等による不平等な評価がなされていた。
データセット選定の基準
テーブルデータの学習課題を均質化するための条件
ハイパーパラメータとかはランダムサーチの回数を統一して平等な感じでやるらしい(あんまり良くわかってない)
テストセットの集約に関しては、精度が下位10%(回帰の場合は50%)を切り捨てて、正規化する。(精度が悪いモデルを異常値とみなし、正規化した後0として扱う) これを各データセットについて、モデルごとに平均(?)を取ることで評価する。
数値データだけだと下記のようになる。(横軸がハイパラの探索回数、縦軸がscore)
カテゴリ変数が含まれるとさらにNNとTreeで差がつく。依然としてtree basedのほうが性能が高い
smoothingを行って学習したところ、treeは性能が低下し、NNは変化しなかった。 -> NNは目的関数がなめらかな関数だと想定して学習していると考えられる。一方、実際の目的関数はなめらかでないケースを苦手としていることがわかる。
情報量の無い特徴が多分に含まれている。これがMLP等では強く影響されてしまっている。
※おそらく列と列の関係性を見てるか、列自体の値を見ているか、という話
rotationするとTreeとNNの優位性が逆転する。 (多分次元圧縮みたいな形で特徴をいじると、Treeは精度が下がったりするが、NNはそこまで下がってないとかそういうのがいいたいんだと思ってる)
論文URL
https://arxiv.org/abs/2207.08815
著者
Léo Grinsztajn (SODA), Edouard Oyallon (ISIR, CNRS), Gaël Varoquaux (SODA)
会議
Preprint. Under review(NeurIPS2022)
背景
深層学習はテキストや画像の分野で多大な進歩を果たしてきた。 しかし、表敬式のデータに対する優位性は未だ明らかになっていない。
特に先行研究では、標準的なデータセットもなく、ハイパーパラメータのチューニング等による不平等な評価がなされていた。
目的
アプローチ