既に見た前回クジラコンペ上位解法の概要

[bird0401]

２人で見てる過去コンペがダブるとアレなのと、一箇所にまとまっていたほうがわかりやすそうなので、ここにまとめていこうと思う。

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82366

• １位解法
• 普通の画像とマスキングした画像を学習
• 4fold cross validation
• 1ステップ目：１０枚以上画像があるクラスのみを学習（収束が早くなる）
• 2ステップ目：最後の２層以外のネットワークを固定して、全てのクラスで学習させる
• 画像反転。反転後のクジラは新しいクジラとみなす。クジラのひれは左右対称ではない場合が多い。
• 2000枚のテスト用画像のうち信頼度0.96以上のものを学習セットに追加した
• 上位5つの予測クラス1～クラス5について、conf class1 - conf class2 < 0.3, かつクラス2がすべての上位1つの予測で使われておらず、クラス1が上位2つの予測で何度も使われている場合、クラス1とクラス2の位置を入れ替える。

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/83885

• 2位解法
• コードのみ。github上に解法載ってた。
• シングルモデルデザイン
• バックボーンネットワーク：resnet101, seresnet101, seresnext101;
• 損失関数：arcface損失＋triplet損失＋focal損失。
• オプティマイザ：adam（ウォームアップLR戦略付き）;。
• data augmentation：blur,grayscale,noise,shear,rotate,perspective transform
• 1500の擬似ラベルを用いた

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82484

• 3位解法
• 学習データセット：新しいクジラを除いた全ての画像
• 水平反転
• ArcFaceを利用。パラメータも書いてあった。
• data augmentation:
  • average blur
  • motion blur
  • add
  • multiply
  • grayscale
  • scale
  • translate
  • shear
  • rotate
• optimizer: adam
• 画像の特徴ベクトルの抽出に、5つのバウンディングボックスとランドマークを用いた
• コサイン類似度

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82356

4位解法

• 全体的にやっていることがいまいち理解できなかった。
• siftを用いた距離計算（Keypoint matching）を用いた
• Simese Network（深層距離学習手法）を用いた
• 計算時間がかなりかかった。12時間くらい。
• N=1のラベルに焦点を当てた
• ヒレが反射して明るくなることによりfalse positiveが増えた
  • セグメンテーションとhomography matrix（？）を用いるxgboostを用いて対処
• 上位５位にくるクラスに偏りが生じた
• N=1のクラスが上位に来るように工夫した
• どのテスト画像が訓練画像に最も近いかで予測を行なった

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82369

5位解法

• 見る限り解法の解説をしているところがなかった

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82352

7位解法

• 多くのクラスがn=1だったことが大変だった。皆これ言う。
• エポック数を増やすと多くの場合過剰適合した 　- Center lossを用いることで改善した
• softmaxの前にtemperature scalingをしたのが効果的だった
• Ring Lossという損失に関する手法が1-NNに対して効果的だった
• 以下は効果がなかった。他解法で効果があったという人もいる。
  • segmentation
  • ArcFace, CosFace, *Face, LGM losses
  • Focal loss
  • BCE loss
  • Making any use of “new_whale” images, except for 1-NN prediciton
  • oversampling
  • pseudo-labeling
  • RandomErase aka CutOut augmentation, RGB or RGB2Gray augmentation. Default
  • fast.ai augmentation w/o flipping worked the best
  • Contour detection
  • mixup

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82427

9位解法

• 顔識別に関する論文を読んだことが役に立った
• CosfaceとArcfaceが役立った
• 画像サイズを56x256に、エポック数を64に制限することで高速に学習を行なった
• n=1のクラスを過剰適合させないことが課題だった
• data augmentationとして以下を行なった。ここから用いた：https://github.com/albu/albumentations
  • HorizontalFlip
  • Rotate with 16 degree limit
  • ShiftScaleRotate with 16 degree limit
  • RandomBrightnessContrast
  • RandomGamma
  • Blur
  • Perspective transform: tile left, right and corner
  • Shear
  • MotionBlur
  • GridDistortion
  • ElasticTransform
  • Cutout
• 擬似ラベルを用いた
• distillationを用いた

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82480

143位解法

• custom loss (a combination of cross entropy and contrastive loss)
• training with
  • the one cycle policy
  • progressive image resizing
  • gradual unfreezing
  • discriminative lrs
  • Adam
• data augmentation では極端に増やすことはしない
• 徐々に難しいデータセットを作る
• 学習データのクリーンアップを行わず、特徴ベクトル間のユークリッド類似度に基づいて予測した
• bounding boxesで予測させたモデルはnotebookにある

[bird0401]

https://www.kaggle.com/c/humpback-whale-identification/discussion/82994

87位解法

• triplet lossとsemi-hard negative miningは0.5未満のスコアの改善しかせず、学習時間も長かったので放棄した
• embedding層はL2正規化した
• うまくいったこと
  • Ensembling
  • BCE loss
  • SGD with warm restarts
  • Progressive resizing while training classification model
  • Heavy augmentations (almost like in imgaug demo)
  • SEResNet34/50
  • Weight decay
  • Label smoothing while finetuning
  • Threshold selection based on 30% new whales fraction
  • Linear layer after GAP
• うまくいかなかったこと
  • DenseNets (were too memory-hungry)
  • Focal loss
  • Global Max Pooling (-0.05 LB)
  • Convolutional block attention module
  • Triplet loss (I was not trying that hard)
  • Mixup (again)
  • Light augmentations led to underfitting (but why?!)
  • Half-fluke crops
  • Images larger than 512x512