모델 검증 방법

[jenjenniee]

이슈주제

Blip : 캡션 생성 모델 Bert: 위험도 측정 모델 각각에 대해 어떻게 평가를 해야할지 고민이다.

캡션 생성 모델의 경우 원하는 캡션의 구조대로 생성되는 것이 우선이라 판단하였다. 하지만, 이럴 경우 BELU, SPICE와 같은 정량적 평가 요소들은 n-gram과 의미적 구조를 평가하는 것이기에 부적합하다고 판단하였다.

[jenjenniee]

해결 방법

교수님께 자문을 구한 결과, 캡션 생성 모델은 파인 튜닝 전 후의 정성적 평가로, 위험도 측정 모델은 정량적 평가를 하길 추천하셨다.

[jenjenniee]

위험도 평가를 위해 분류 성능 평가 F1 Score를 사용해 볼 예정이다.