search

ZeroYuHuang / Transformer-Patcher

25 stars 3 forks source link

请教下T-Patcher和CALINET的区别 #7

Open qizhou000 opened 1 year ago

qizhou000 commented 1 year ago

22年EMNLP的Calibrating Factual Knowledge in Pretrained Language Models的做法似乎也是在FFN层添加额外神经元，T-Patcher文中并没有与之进行对比。

FairyFali commented 9 months ago

Same question for me. 后来我也思考了这个问题，我发现本文技术上主要的改进在于损失函数的设计。CALINET仅仅考虑了普通的损失，本文考虑了reliability和locality方面的损失（我觉得如果能够加上考虑generality会更好）。