search

team90s / kaggle-MoA

https://www.kaggle.com/c/lish-moa
2 stars 1 forks source link

【experiment】SelfSupervisedのTabNetがリリースされたので使ってみる #141

Closed sinchir0 closed 3 years ago

sinchir0 commented 3 years ago

概要

今までは、元論文のpretrainの部分が省略されていたが、最近実装されたので試してみる。 https://www.kaggle.com/optimo/selfsupervisedtabnet

元々のNotebookは CV : 0.01757, LB : 0.01893

sinchir0 commented 3 years ago

Case1

Rankgaussの適用 https://www.kaggle.com/sinchir0/selfsupervisedtabnet-rankgauss

CV : 0.01757 → 0.01752 ちょっとだけ改善。次はN_STEPなどのパラメータを以前まで使っていたパラメータに合わせる。

sinchir0 commented 3 years ago

Case2

paramを今まで使っていたものに修正。 https://www.kaggle.com/sinchir0/selfsupervisedtabnet-rankgauss-fix-param?scriptVersionId=47542058

paramの変更 N_D = 128 → 24 N_A = 32 → 24 N_STEPS = 3 → 1 gamma=1.0 → 1.3

CV : 0.01752 →　0.01758

うーむ、微妙。どうしよう。