search

konumaru / commonLit_readability_prize

https://www.kaggle.com/c/commonlitreadabilityprize
0 stars 0 forks source link

Stochastic Weight Averaging の検証 #16

Closed konumaru closed 3 years ago

konumaru commented 3 years ago

Pytorch Lightning Trainer にパラメーターがあったのでTrue/Falseで比較する。 https://pytorch-lightning.readthedocs.io/en/latest/api/pytorch_lightning.trainer.trainer.html#module-pytorch_lightning.trainer.trainer

このブログを読んで何をしているのかを理解する https://pytorch.org/blog/pytorch-1.6-now-includes-stochastic-weight-averaging/

konumaru commented 3 years ago

パラメーターをカスタマイズするにはcallbackを設定する https://pytorch-lightning.readthedocs.io/en/stable/extensions/generated/pytorch_lightning.callbacks.StochasticWeightAveraging.html#pytorch_lightning.callbacks.StochasticWeightAveraging

konumaru commented 3 years ago

LocalCVは本乙に若干（0.001）悪化したが、このくらいなら乱数によるものかもしれない。

とりあえず、Trueに設定しておく。

konumaru commented 3 years ago
スクリーンショット 2021-05-25 10 34 07