kent0304 / semantic-scoring

Automatic Scoring for Picture Description

0 stars 0 forks source link

正誤判定モデルの定量評価 #2

Open kent0304 opened 3 years ago

kent0304 commented 3 years ago

疑似生成データを用いた分類精度の評価の実施

kent0304 commented 3 years ago

MSCOCO2017valを用いたモデルの評価

正例負例はそれぞれ463283
(image, key, answer)の組を合計926566用意

評価(model/model0112_epoch200.pth)

混同行列は以下 cm: [[461634 1649] [ 243 463040]]
Precision: 0.99645
Recall: 0.99948
F1score: 0.99796