Open AkihikoWatanabe opened 1 year ago
https://arxiv.org/abs/2207.03208
Tabular Dataを利用した場合にKaggleなどでDeepなモデルがGBDT等に勝てないことが知られているが、GBDT等とcomparable になる性能になるようなpre-trainingを提案したよ、的な内容っぽい
https://arxiv.org/abs/2207.03208