livingbio / article-extraction-benchmark

Article extraction benchmark: dataset and evaluation scripts
MIT License
0 stars 0 forks source link

麻煩確認一下評分標準 #4

Closed lucemia closed 3 years ago

lucemia commented 3 years ago

確認評分標準是否會有不合理的情況

e.g. image alt 造成扣分

Originally posted by @lucemia in https://github.com/livingbio/article-extraction-benchmark/issues/2#issuecomment-964880095

sp8va100 commented 3 years ago

Update評分標準和內文定義在paper中:https://paper.dropbox.com/doc/Benchmark-A.I.-Parser--BV6t1MdCnejWabP9W9DZoPMiAg-UPbZxMrxYm4XWR452HaTq

第三點應該造成分數嚴重下降,因為爬到的連結數量很多且連結會被拆成許多個詞,在計算上會被嚴重扣分。 因此,根據上面的原因,我們的評分應該正常來說應該會在更高。