search

GanjinZero / RRHF

[NIPS2023] RRHF & Wombat
780 stars 49 forks source link

评估方法与位置有很大关系 #32

Open xiaoyuan1996 opened 1 year ago

xiaoyuan1996 commented 1 year ago
image

我们在进行测试后，发现这样的评估方法和位置关系相当密切，把答案进行换位重评后的结果与先前有很大差异。 在使用GPT4等进行评估时，需要进行多次样本翻转来去除位置敏感性。

GanjinZero commented 1 year ago

您说的很对，我们当时太穷了，没有那么多资源来跑gpt4/chatgpt。如果可能的话，最好还是翻转位置关系，求平均。

Guochry commented 12 months ago

想请问一下您为什么想到用ChatGPT做评估呢？考虑RW曾在额外的偏好数据上训练过，效果应当更好呀