search

zjunlp / EasyEdit

[知识编辑] [ACL 2024] An Easy-to-use Knowledge Editing Framework for LLMs.
https://zjunlp.github.io/project/KnowEdit
MIT License
1.63k stars 200 forks source link

counterfact数据结果 #319

Closed SXxinxiaosong closed 2 weeks ago

SXxinxiaosong commented 3 weeks ago

您好，请问为什么在大表中没有counterfact数据集的性能比较，是出于什么考虑呢？

XeeKee commented 2 weeks ago

你好，因为大表综合考虑了更多的评估准则，counterfact构建成本更高，我们选择了wiki-counterfact。

SXxinxiaosong commented 2 weeks ago

有两个问题请教一下：

  1. 如果把读取的文件改成counterfact，是不是就可以评估了？
  2. 27%|██▋ | 2660/10000 [13:57:58<40:38:56, 19.94s/it] 这是使用ROME编辑counterfact的进度条，耗时很长，这是正常的吗
XeeKee commented 2 weeks ago
  1. 可以
  2. 这地方并不是在进行编辑而是在算C，您可以在https://rome.baulab.info/data/stats/ 下载计算好的C，在https://github.com/zjunlp/EasyEdit/blob/6ce393c8ab64795394e77891dedf8d724977a2b0/hparams/ROME/gpt-j-6B.yaml#L3中换成本地路径即可
SXxinxiaosong commented 2 weeks ago

我是在用llama-2-7b-chat编辑，似乎https://rome.baulab.info/data/stats/中是GPT相关的C?

XeeKee commented 2 weeks ago

是的，那你需要等待了，或者你可以把mom2_adjustment设置为false

SXxinxiaosong commented 2 weeks ago
  1. mom2_adjustment 默认就是false
  2. 还有请问ROME和R-ROME的区别是什么呢?
XeeKee commented 2 weeks ago

https://pan.baidu.com/s/1iFxsVu5gAD8r_kELfAbcBw?pwd=7jya&_at_=1719341021014#list/path=%2F 这里有llama的 rome和r-rome的具体区别建议您去看r-rome的论文：Rebuilding ROME : Resolving Model Collapse during Model Editing

littlefive5 commented 2 weeks ago
  1. mom2_adjustment 在ROME中是依靠C作为约束进行最优化计算，如果设置为false则会忽略这个约束，结果会有一定的下降。
  2. r-rome对原rome代码的k的计算进行了优化，具体请看原论文。
SXxinxiaosong commented 2 weeks ago

好哒，谢谢解答~

SXxinxiaosong commented 2 weeks ago

还有请问 表格中的评估是single-edit的结果吗

littlefive5 commented 2 weeks ago

你好，是的 单条edit的结果。近期easyedit有较大的更新我们也会更新表格的结果。