モデル構造を探索する

[kabupen]

テーブルデータ用の線形層

• https://www.kaggle.com/code/vslaykovsky/train-pytorch-aux-targets-weighted-loss-thres

• backbone_dim : efficientnet_b4 の出力を backbone dim にしている

  >>> model = timm.create_model("efficientnet_b4", pretrained=True)
  >>> backbone_dim = model(torch.randn(1,3,512,512)).shape
  >>> model(torch.randn(1,3,512,512)).shape
  torch.Size([1, 1000])

• このモデルは画像から [0, 1] の 予測値と、train.csv の列の値を予測しているっぽい

  • train.csv のテーブルデータを入れて、最終的に [0, 1] の予測になっていない
  • 正規化のためか？

• cancer は画像 X を EfficientNetにいれて、1000 --> 1 の Linear layer に入れている
• aux は画像 X をEfficientNetにいれて、テーブルデータを予測している