exe1023 / DialEvalMetrics

61 stars 11 forks source link

如何获取bert-ruber分数和PONE分数 #5

Closed tensixchuan closed 2 years ago

tensixchuan commented 3 years ago

你好,请问bert-ruber和PONE有什么区别呀 我发现使用gen_data.py创建bert-ruber的数据时,产生的数据是放在了pone文件夹中,运行相应run之后,会产生三个文件:refer_score_dailydialog_sampled.json、ruber_score_dailydialog_sampled.json、unrefer_score_dailydialog_sampled.json,我想问一下这三个文件分别代表什么? 哪一个是bert-ruber的分数,哪个是pone的分数呀?

exe1023 commented 2 years ago

你好,不好意思我的runeval.sh多comment掉了幾個comamnd 實際上跑完你應該會產生 {refer/unrefer/ruber}_score\{dataset}.json,refer/unrefer對應了paper中的referenced和unreferenced metric,ruber則代表是combine這兩者的結果 dataset在為dailydialog_sampled的時候代表為PONE,因為model是train在經過PONE paper的演算法process過的dailydialog dataset為dailydialog或personachat時則為bert-ruber train在dailydialog或personachat上的results