fkubota / kaggle-Cornell-Birdcall-Identification

Cornell Birdcall Identification コンペのリポジトリ

MIT License

37 stars 18 forks source link

tawaraさんの結果と全然違う結果が出たことの考察 #93

Closed fkubota closed 4 years ago

fkubota commented 4 years ago

fkubota commented 4 years ago

状況

nb026で作ったモデルを使って、kagglenb15で提出した。
これは、tawaraさんのノートブックと同じもののはず。
結果は以下のようになった。
tawaraさん: 0.568
fkubota: 0.556

何をすべき？

tawaraさんのノートブックと自分のノートブックを比較する

-	tawaraさん	fkubota
training	url	nb026
inference	url	kagglenb15

怪しい部分

[x] batch_size: 結構違う。でもGPUてきに仕方ない... (nb028)
[x] foldfileの違いを見る

fkubota commented 4 years ago

foldfileの違いを見る

fkubota commented 4 years ago

原因は、StratifiedKFoldのせい。

sklearnのバージョンが違うために起こったっぽい。
kaggleは、scikit-learn==0.23.1

fkubota commented 4 years ago