Submit score が 0.04 のままはりつく

[kabupen]

2023/02/10

• BreastPreprocessor を入れて、前処理を精査した学習をしていたのに、rsnagit をアップデートをするのを忘れて submit していた。--> 学習はいったんok、submit をしなおす（0.06）。
  • スコアは上がったが、よくよく考えると メダル圏内は 0.X の桁なので全く 1桁落ちていることに気づいた
• 学習済みモデルを比較すると、valid_index に対して

となっている。

[kabupen]

• submit.py のデバッグをする
• fold はおそらく間違っていないが、submit スコアが1桁小さい。
  • patient ID で　groupby するときに何か間違えている?

[kabupen]

• resample の replace=True によるデータリーク然り、pfbeta のメトリクスへの理解不足も判明
• 例えば resample で 50:50 のデータを作ったときには、pfbeta のスケールは 0.X になるが、普通の 2% くらいのデータであれば 0.0X のスケールになる（学習が進んでいないことには変わりないが、見かけ上「やった！」となってしまう...。）