RTSeg: Real-time Semantic Segmentation Comparative Study

[usersan]

0. 論文

Mennatullah Siam, Mostafa Gamal, Moemen Abdel-Razek, Senthil Yogamani, Martin Jagersand

https://arxiv.org/abs/1803.02758

1. どんなもの？

複数の特徴抽出器（VGG16、Resnet18、MobileNet、ShuffleNet）とデコーダのアーキテクチャ（SkipNet、UNet、Dilation Frontend）を組み合わせて精度・計算量を比較

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

[usersan]

Decoder	Encoder	Coarse	mIoU	Road	Sidewalk	Building	Sign	Sky	Person	Car	Bicycle	Truck
SkipNet	MobileNet	No	61.3	95.9	73.6	86.9	57.6	91.2	66.4	89.0	63.6	45.9
SkipNet	ShuffleNet	No	55.5	94.8	68.6	83.9	50.5	88.6	60.8	86.5	58.8	29.6
UNet	ResNet18	No	57.9	95.8	73.2	85.8	57.5	91.0	66.0	88.6	63.2	31.4
UNet	MobileNet	No	61.0	95.2	71.3	86.8	60.9	92.8	68.1	88.8	65.0	41.3
UNet	ShuffleNet	No	57.0	95.1	69.5	83.7	54.3	89.0	61.7	87.8	59.9	35.5
Dilation	MobileNet	No	57.8	95.6	72.3	85.9	57.0	91.4	64.9	87.8	62.8	26.3
Dilation	ShuffleNet	No	53.9	95.2	68.5	84.1	57.3	90.3	62.9	86.6	60.2	23.3
SkipNet	MobileNet	Yes	62.4	95.4	73.9	86.6	57.4	91.1	65.7	88.4	63.3	45.3
SkipNet	ShuffleNet	Yes	59.3	94.6	70.5	85.5	54.9	90.8	60.2	87.5	58.8	45.4

Cityscapesで評価。解像度512x1024。 デコーダ精度：UNet >= SkipNet > Dilation

[usersan]

Model	GFLOPs	FPS
SkipNet-MobileNet	13.8	45
UNet-MobileNet	55.7	20

UNetよりSkipNetの方が軽い

[usersan]

Model	GFLOPs	Class IoU	Class iIoU	Category IoU	Category iIoU
SegNet[21]	286.03	56.1	34.2	79.8	66.4
ENet[12]	3.83	58.3	24.4	80.4	64.0
DeepLab[2]	-	70.4	42.6	86.4	67.7
SkipNet-VGG16[1]	-	65.3	41.7	85.7	70.1
SkipNet-ShuffleNet	2.0	58.3	32.4	80.2	62.2
SkipNet-MobileNet	6.2	61.5	35.2	82.0	63.0

解像度360x640。 DeepLabは性能は高いが計算効率は悪い。 計算効率の面では、ENet、SkipNet-ShuffleNetやSkipNet-MobileNetでの比較になるか。 SkipNet-ShuffleNetはENetより軽い。 エンコーダはMobileNet、ShuffleNet、ResNet18だとMobileNetが正確。