GENZITSU
commented
2 years ago 【🛰MScup】超解像コンペで11位だったけど，やったことまとめまくる
solafuneというプラットフォーム上で開催された衛生画像の超解像コンペの11解法の共有。
要点のみ抜粋
このコンペの当時ではSwinIRというSwin transformerによる超解像モデルが圧倒的に強かったらしい。
最終的な開放は5つのモデルのSeed averaringとTTAの合わせ技を行ったとのこと。
回転のAugmentationを加えるとノイズになる エッジの再現性が重要となる超解像タスクでは，回転後のギザギザがノイズになってしまう． 初めて知ったけど， 超解像タスクでは90度単位での回転が基本動作．画像見比べてなるほどってなった． これは最初気づかなくて，エッジがめちゃくちゃ鈍った画像が生成されたので分析した結果わかったことです．
超解像時にエイリアシングが起きたとき，エッジの向きに再現性がない
結果行き着いた発想が，「エッジに対してLossを計算してしまえばいいじゃない？？」でした． 実装上は，Sobel Filterをかけて，エッジ抽出された画像に対してSmooth L1 Lossを計算するように計算しました．
# from https://yuta0306.github.io/mscup-feedback
class MeanSobelError(nn.Module):
"""
Sobel Gradient Loss Function
"""
def __init__(self,
normalized: bool = True,
eps: float = 1e-6,
reduction: str = 'mean',
):
super(MeanSobelError, self).__init__()
self.filter = kornia.filters.Sobel(
normalized=normalized,
eps=eps,
)
self.lossfn = nn.SmoothL1Loss(reduction=reduction)
def forward(self,
y_pred: torch.Tensor,
y_true: torch.Tensor,
):
filtered_pred = self.filter(y_pred)
filtered_true = self.filter(y_true)
loss = self.lossfn(filtered_pred, filtered_true)
return lossちなみにsobel filterというのは画像の畳み込みをうまく利用することでエッジ情報を抽出する手法のこと。参考
コメント
回転させた時の情報損失が大きいことを初めて知った。
domain randomization的に学習用画像を大量生成するときに注意した方がいいところかもしれない。
またエッジ情報をより見るようにする、ロストしては、ピクセルに対する重み付けというアプローチもあるかもしれない。
衛生画像の建物セグメンテーションとかだと、建物境界付近のロスへの重みを増やして学習させるとかよくやるので。
(今回は、衛生画像オンリーなので、これはできないが、sobel filterを用いて重み付をするとかはできたかも、というか上の手法だと勾配が本当に流れているのかが不明...)
TransformerモデルへのMC Dropoutの適用
学習時だけではなく推論時にもドロップアウトを利用することで、予測の確実性を見積もる手法の実装記事。
ブログ中では20newsという英語の文書分類タスクに対してドロップアウト確率を0.5と高めに設定して実装を行っている。
このモデルで普通に学習させた後に、model.eval()をせずに、100買い推論を行い最頻値の値がどれくらい出たかで確信度を見積もっている
コメント
元々は回帰問題に対する確信度を見積もるための手法だったらしいが、分類にもある程度使えそう。
仮にマルチラベルとかで各深度を見積もる場合は、複数回やった予測分布の平均からの乖離みたいなのを指標として用いればいいのだろうか？
そしてどうやらタスクによって絶大な効果をもたらすらしい。
出典
元記事