DANNの実装

[Toma0916]

torchvisionの中身を弄ってbackboneのfeatureもtrain時に返すようにする。

セットアップ手順

https://github.com/pytorch/vision/blob/master/torchvision/models/detection/generalized_rcnn.py のGeneralizedRCNNを次のように書き換える

    @torch.jit.unused
    def eager_outputs(self, losses, detections):
        # type: (Dict[str, Tensor], List[Dict[str, Tensor]]) -> Tuple[Dict[str, Tensor], List[Dict[str, Tensor]]]
        if self.training:
            return losses

        return detections

を

    @torch.jit.unused
    def eager_outputs(self, losses, detections, features):
        # type: (Dict[str, Tensor], List[Dict[str, Tensor]]) -> Tuple[Dict[str, Tensor], List[Dict[str, Tensor]]]
        if self.training:
            return losses, features

        return detections

にする。

forwardの後部の

        if torch.jit.is_scripting():
            if not self._has_warned:
                warnings.warn("RCNN always returns a (Losses, Detections) tuple in scripting")
                self._has_warned = True
            return (losses, detections)
        else:
            return self.eager_outputs(losses, detections)

を

        if torch.jit.is_scripting():
            if not self._has_warned:
                warnings.warn("RCNN always returns a (Losses, Detections) tuple in scripting")
                self._has_warned = True
            return (losses, detections)
        else:
            return self.eager_outputs(losses, detections, features['pool'])

にする。

[Toma0916]

backboneにdomainのロス足せたわ

configとかロスのスケールとかはまだだけど学習回してみます

[Toma0916]

サクッと見た感じちゃんとdomain loss （cross entropy lossの符号反転したやつ）いい感じに下がってそう

明日に期待

[Toma0916]

@kminoda

オレンジ: 最近 trainしてたやつ 青: オレンジにdomain lodd 足した + cutmix抜いた（ドメインわからなくなると思ったので）

domain loss　はあまり汎化できてないんだけど、validの他のloss見る感じ結構可能性感じるぞ

[Toma0916]

domain loss計算の部分、いま最低限の実装だからもっとやりようはあると思う

[kminoda]

実装早すぎて草

[Toma0916]

たぶん同じ感じの雰囲気でOHEMも出来る

実装の速さには感動してほしい

[Toma0916]

validのロス、trainに比べると高いけどSoftmax Cross Entropyで-2.5なのでどっちにしろクラスは全然当てれていない気もするね（上手く行っているという意味

[kminoda]

これちなみにvalid=arvalis_2？

[Toma0916]

randomです

[Toma0916]

arvalis_2でも回してみる

[Toma0916]

回し始めた

[Toma0916]

arvalis_2ってどれくらい行けば標準？

@kminoda

[kminoda]

俺はwbf込みで0.77くらいいってたかな

[Toma0916]

その時のconfig探してみたけど見つからないから貼ってくれたりしますか？

[kminoda]

あごめんpush忘れた他

[kminoda]

https://github.com/Toma0916/GlobalWheatDetection/tree/master/experiment/harvest/koji/exp_006 これです（mlrunsの方も更新した）

[Toma0916]

さんこす それと対照実験してみるかな

[Toma0916]

config_all.jsonってなんだっけ？もともとあった？

configと違うところもあるみたいだけど

[kminoda]

俺が勝手につけた submit用に（ほぼ）全データで学習したやつ

[Toma0916]

CycleGANもコミコミで一旦mergeしますね

[Toma0916]

@kminoda そいえばこれ、一番上の変更しておいて！

[kminoda]

DANN回す時ってことよね おっけー

[Toma0916]

使わなくても変えておかないとpipeline動かんと思う

[kminoda]

マジか おっけー