mix系追加とバグ修正

[Toma0916]

cutmix ラベル落としのロジックどうしよ

[Toma0916]

mixup こっちはラベル重ねていいのかな

[Toma0916]

それぞれラベルの処理だけはまだしてないというか適当なんですけどどうするのがいいかな。

一応重なりの度合いみたいなパラメタはオリジナルに忠実に beta(0.5, 0.5)からサンプリングしてる

[Toma0916]

https://keisan.casio.jp/exec/system/1161228837

バランス良くさんサンプリングするなら 0.5 -> 2とかの方がいいと思うけど、薄いところにラベルつけてても意味ないしそのほうがいいんかな

[kminoda]

最初のcutmixのは、ラベルを両方ともフルで載せているということ？ (x1, y1, x2, y2)のformatなら境界でnp.clipすれば良いとかそういうことですかね

[kminoda]

object detectionでのmixupがよくわかっていないんだけど 例えば上のやつの場合だったら、labelを0（背景）と1（小麦）で混ぜ合わせる的な感じなんですかね？

[Toma0916]

たぶんですけど 不要なboxを落としちゃう感じなんじゃないですかね

[Toma0916]

mixupは足して良さそう

[kminoda]

3枚目もはや気持ち悪い

[kminoda]

密だ

[Toma0916]

cutmixの方、どういう基準でラベル落とそう

[kminoda]

不要なboxってcutmixの方か 元のkernelでは実際にtrainingでどうやってるのかわからなかったんだよな ググってもよくわからんかった

[Toma0916]

ちょっといい感じにダブってたら落とすってやつをやろうと思う

[kminoda]

bboxのIoUで判定するということ？ でも同じbboxでも小麦の向きによって同じと判定するべきか別々で判定するべきか変わってきそうだよな

[Toma0916]

iou的なサムシングでいいかなという感じはする

[kminoda]

単に足し合わせた方が良いのかIoU基準で間引いた方が良いのかいまいち判別がつかないな

[Toma0916]

単に足し合わせた方が良いのかIoU基準で間引いた方が良いのかいまいち判別がつかないな

あごめん cutmixの話していた

[kminoda]

あ、cutmixか 単に画像から一部cutする時にbboxもろともcutすれば良いのでは？np.clip的なので

[kminoda]

てか普通にcutmixって明言してたなw ごめんw

[Toma0916]

それでもいいんだけど、それは外側のboxでやろうとするとちょっと工夫必要な気がしている

[kminoda]

そもそもcutmix誤解してたかも

画像Aに画像Bの一部分を切り出して、それを画像Aの一部分と入れ替える

のかと思っていたが、ひょっとして

画像Aに画像Bの一部分を切り出して、それを画像Aの一部分に足し合わせる（mixする）

が正解？

[Toma0916]

基本的には上のほう

kaggleのカーネルでは下もやってたね

[Toma0916]

あたぶん理解した

[kminoda]

つよい

[kminoda]

https://github.com/clovaai/CutMix-PyTorch/issues/19 やっぱいろいろ大変っぽいな

[Toma0916]

重なりが0.5あったら（iouではない）残すやつスッキリかけた

[Toma0916]

画像Aに画像Bの一部分を切り出して、それを画像Aの一部分に足し合わせる（mixする）

これも入れる？

[Toma0916]

cutmix + mixup + mosaic

[Toma0916]

mixupとcutmix一応動く実装になってるはず。 重ね合わせ度合いのベータ分布のハイパラは一般的なやつベタ書きした。

[kminoda]

カオスで草

[kminoda]

まあ動きますね 大丈夫そう

[Toma0916]

image: a PIL Image of size (H, W)
target: a dict containing the following fields
boxes (FloatTensor[N, 4]): the coordinates of the N bounding boxes in [x0, y0, x1, y1] format, ranging from 0 to W and 0 to H
labels (Int64Tensor[N]): the label for each bounding box. 0 represents always the background class.
image_id (Int64Tensor[1]): an image identifier. It should be unique between all the images in the dataset, and is used during evaluation
area (Tensor[N]): The area of the bounding box. This is used during evaluation with the COCO metric, to separate the metric scores between small, medium and large boxes.
iscrowd (UInt8Tensor[N]): instances with iscrowd=True will be ignored during evaluation.
(optionally) masks (UInt8Tensor[N, H, W]): The segmentation masks for each one of the objects
(optionally) keypoints (FloatTensor[N, K, 3]): For each one of the N objects, it contains the K keypoints in [x, y, visibility] format, defining the object. visibility=0 means that the keypoint is not visible. Note that for data augmentation, the notion of flipping a keypoint is dependent on the data representation, and you should probably adapt references/detection/transforms.py for your new keypoint representation

ちゃんとiscrowdの0, 1やります？？

[Toma0916]

https://pytorch.org/tutorials/intermediate/torchvision_tutorial.html

[kminoda]

まあいんじゃない？ やってる人見たことないし そもそもどうやってそれ割り振るのかわからん

[Toma0916]

iouとかかなって思ったけど一旦いいか

[kminoda]

そこでいうevaluationってlossを計算するところとかなのかな いずれにせよ最終的にはiscrowdだろうがそうでなかろうが検知しなきゃいけないわけだから、そのままで良い気がする

[Toma0916]

eval_modeの時は使わんパラメタってことじゃない？ ソース見てないけどtrainには効いてきそう

[kminoda]

まーじしましょう！！！