search

chen700564 / RGB

Other
276 stars 25 forks source link

./evalue.py中fact_label的0和1是不是反了？ #22

Open PPMark0712 opened 2 months ago

PPMark0712 commented 2 months ago

131行开始：

factlabel = 0
if '事实性错误' in prediction or 'factual errors' in prediction:
    factlabel = 1

0和1是不是反了？因为后面计算result时，是只看fact_label=1，我的理解是只考虑事实不冲突的数据，不知道是不是我理解反了，麻烦开发者检查一下。

chen700564 commented 2 months ago

这里衡量的是模型output是否识别出了事实性错误（比如模型会生成“出现事实性错误“，此时表示模型识别出了事实性错误，factlabel=1），后面的一些指标是在模型识别出事实性错误的前提下进行衡量的（因此取factlabel=1）