search

heng840 / AMIG

Code of Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons
33 stars 0 forks source link

我想请问一下您提供的数据集以及最后运行结果的问题 #3

Open ZHANGJINKUI opened 3 months ago

ZHANGJINKUI commented 3 months ago

为什么用了您的数据集/AMIG/wrong_fact_dataset/en.json后运行/AMIG/main_garns.py代码后定位的神经元结果，无论是在抑制或是增强后，其预测结果都是错误的呢？而且是所有的结果都是一致的false，这样的话怎么能知道您所定位的神经元的好坏呢？是我这里弄错了什么吗？导致用您提供的数据en.json后生成的pararel_results_0.json结果中的 "correct_before"和"correct_after"全部为false结果呢，如果您能花一点时间为我解答，我将不胜感激，谢谢！ 很期待您的回答！

heng840 commented 3 months ago

这个部分我没有在论文中报告。主要是因为对于答案的评价方法有问题。比如说，对于mGPT，生成的是一段话而不是标准的一个词（比如问模型：中国的首都是__, 模型未必回答“北京”，可能包含其他无关token）。这一部分实际上需要仔细设计，我没有进行仔细设计，如果进行硬匹配，则false的概率非常大，即使模型回答正确。由于我没有在论文中报告，因此这部分简单的沿用了其他人的代码，所以有许多的false。