Performance Evaluation

[HyeonjinChoi]

실제 정답과 분류 결과에 따른 4가지 경우

• True Positive(TP) : 실제 정답 – T / 분류 결과 – T (O)
• False Positive(FP) : 실제 정답 – F / 분류 결과 – T (X)
• False Negative(FN) : 실제 정답 – T / 분류 결과 – F (X)
• True Negative(TN) : 실제 정답 – F / 분류 결과 – F (O)

1) Accuracy (정확도)

2) Precision (정밀도)

3) Recall (재현율)

4) F-measure (Precision, Recall 조화평균)

5) AUC (Area Under Curve)

다음은 Recall, Fallout(실제정답이 False인 것 중에서 분류결과가 True인 비율)의 변화를 시각화한 ROC (Receiver Operation Characteristic) curve x축 : Fallout, y축 : Recall 좌측 상단으로 그래프가 가까울수록 높은 성능을 의미 그래프 아래의 면적 값이 AUC이고, 최댓값은 1이며 1에 가까울수록 높은 성능을 의미

[HyeonjinChoi]

Precision vs Recall

1) Precision Precision은 참이라고 분류한 것 중에서 실제로 참인 것의 비율 분류모델이 얼마나 오검출을 하는지 확인하기에 용이함 ex) Precison = 0.6 => 참으로 분류한 것 중 40%는 잘못 분류

2) Recall Recall은 실제로 참인 것 중에서 참이라고 분류한 비율 분류모델이 얼마나 많은 검출을 하는지 확인하기에 용이함 ex) Recall = 0.9 => 실제 참인 것 중 90%를 제대로 분류

본 프로젝트의 주 목적은 웨이퍼 맵의 결함 패턴을 학습시키는 것이기 때문에 오검출을 고려하지 않은 전체 정답의 수보다는 정확한 정답의 비율이 중요함 따라서 두 평가지표를 비교했을 때, Recall 지표보다는 Precision 지표를 더 고려하는 것이 좋을 것으로 보임