Roadmap Modeling selection and implementation

[Xianbo-X]

Baseline: UNet Improvement:

• DSnet concatenate method @LYYYYx

• Upsampling indices (From SegNet). https://github.com/yassouali/pytorch-segmentation/blob/master/models/segnet.py @Xianbo-X

• RNN @LYYYYx

• Transformer (--> HANet) @Xianbo-X

• CFR*

  Further part

• Attention: HANet

[LYYYYx]

HANet: https://github.com/shachoi/HANet R2U-Net + HANet: https://github.com/tomasamado/cityscapes-image-segmentation DSNet: https://arxiv.org/abs/1904.05022

[LYYYYx]

1. add 2 recurrent layer (epoch=10, batch=4) ---> worse result

2. R2Unet64 (code from github, epoch=15, batch=4)---> worse result reference: https://github.com/tomasamado/cityscapes-image-segmentation/blob/main/Vision_task_2.ipynb

3. cat_unet (epoch=10, batch=4)

4. cat_unet, 1/2 in_channels in Up() (epoch=10, batch=4) ---> better and faster than (3), but slower than baseline (7min)

@Xianbo-X

[Xianbo-X]

OK. I got a similar result for the Unet+Positional mask. I have a new idea. We can cut the whole image into pieces to obtain better results. Ie. Cut the whole images into pieces and train the network on pieces.

[Xianbo-X]

First version of RNN- 1 epoch

Only recognize the abstract shape of roads

On trainset:

[Xianbo-X]

Unet-based RNN 图像中可以看由于切割出现的变形。 我感觉如果调整一下结构，延长一下epoch或许有效果

[Xianbo-X]

和baseline比较可以看出切割训练在某些细节处处理更好。 数字为IoU.可以看出，在某些例子上RNN表现更好 在绿色像素尤其表现良好

人多的时候尤其差

[Xianbo-X]

我做了一个简单的unet-based的RNN。没有仔细调整。然后放了些结果在github上。你看看调整下。我觉着这个方向是可以的。

• 调整使得GPU可以被使用进行加速
• 目前切割方式是不交错切割
• RNN的base模型(Unet)或许可以缩小以加快速度。 我认为Unet对于序列识别来说。其实复杂度应该很大了。因为整张图片可以识别，那切割后图片包含信息量减少，使用的模型应该也缩小就可以实现相同的效果。 @LYYYYx

[LYYYYx]

调整了model，现在可支持gpu加速，在notebook中需要更改以下部分：

1. Trainer -> train_epoch()

2. Trainer -> val_epoch()

3. testing_training()

[Xianbo-X]

Why should we do cuda_tri=False for cpu model?