boostcampaitech5 / level2_klue-nlp-04

level2_klue-nlp-04 created by GitHub Classroom
1 stars 0 forks source link

[Model][Metric] 세부적인 f1 score가 없다 #9

Closed lig96 closed 1 year ago

lig96 commented 1 year ago

문제

현재 f1 score는 micro로 통합된 것만 출력되지, no_relation에 대한 f1, person:어쩌고저쩌고에 대한 f1은 출력되지 않습니다. 현재는 f1 score만 출력되지 precision, recall은 출력되지 않습니다.

적용방법

모듈화 이후 metrics.py 속의 klue_re_micro_f1을 참조해서 세부적인 f1score, 세부적인 precision&recall을 출력하는 함수를 생성한다. 그 후 compute_metrics의 속을 약간만 변경해준다.

(현재. 일단 이슈에 올려놓고 작업은 하지 않고 있습니다.)

lig96 commented 1 year ago

https://stages.ai/competitions/239/discussion/talk/post/2087 참고해서 아예 혼동행렬을 출력하는 것도 좋을 것 같습니다. 저희는 라벨이 30개니 상위 10개 정도만(???) 출력하는 정도로요.