【submission】ensemble submission の検証

[tawatawara]

Base

(Baseにしたsubに対し、何かを変えてsubする場合、ここに元々のsubのURLを記載)

Link（File）

https://www.kaggle.com/ttahara/test-stacking-models-script-avg?scriptVersionId=47944550

手法・コメント

• https://github.com/team90s/kaggle-MoA/issues/137 で準備してるわけですが、何としても error を解決したい

• ensemble submission について、各 sub をチェックする code を仕込んで提出。チェック項目は以下の四つ。

  • そもそもファイルが生成されているか？
  • sig id, shape は sample sub と一致しているか？
  • NaN を含んでいないか？

• もうちょい細かく区切っていますが、簡単に言うと以下の表のように public score と状態を紐づけています。

submission score	status
Error	0 番目の sub のチェックが NG
0.13073 (all 0)	全ての sub の チェックが OK
ちゃんとした score	ensemble 成功

全ての sub のチェックが OK にならないと averaging の submission は作らないという形にしています。

Score

-	今回	元々	差分
Local logloss	?????(0.015798)	0.XXXX	0.XXXX
LB Score	0.91475	0.XXXX	0.XXXX

※control 込みの値は計算していないので ???? とした。

その他（何かあれば）

• 今回 score が付いたので、少なくとも 0 番目 (しんちろさんの nn ) は通っている

  • sample submission (all 0,5) が 0.69314 (cf) なので、しんちろさんの 2個目か asteriam さんの時点で引っかかってる可能性があります。
  • 「お二人が悪い」みたいな言い方になっちゃいましたが、前から順にチェックしてるためにわからないだけで実は僕が引っかかっている可能性もおおいにありえます。

• virtual submission での検証だけでは不十分だったのでしょうか？しんどいですがもっかい各自が code check する羽目になりそう...

  • virtual submission はこちら： https://www.kaggle.com/ttahara/vs-stacking-models-script-avg

• 検証のための score を各自の sub にするかは迷ったのですが、不確定要素があるためやめました。