What is a good evaluation measure for semantic segmentation?

[yiskw713]

INFO

author

Gabriela Csurka et al.

affiliation

Computer Vision Group Xerox Research Centre Europe Meylan, France

conference or year

BMVC2013

link

pdf

概要

セマンティックセグメンテーションにおいて，Accuracy や IOU などのregion-based の評価や，データセットのサンプル全てに渡っての評価ではなく，

• 境界を重視した評価 (BF1 Metric)
• 画像ごとの評価 が重要であることを主張している．

提案手法

BF1 Metric

per-image evaluation が重要な理由

1. すべての画像に平均的なスコアを出したアルゴリズムと，ある画像にうまく行き，他の画像にうまく行かなかったアルゴリズムとの区別でできないため
2. スコアがあるしきい値を画像の割合を求めることで，どのモデルが良かったか，２つのアルゴリズムは統計的にどんな違いがあったかなどを比較することができるため
3. 画像ごとに評価することで，大きい画像に対してのバイアスを減らすことができる．(小さい画像が混合行列に与える影響は小さいため)

Comment

このような提案がされているが，現状IOUをすべてのサンプルに対して計算し比較している研究が多い． Boundary F1 Score はロスとして使われているたりする(#89 )

date

Oct. 4th, 2019