请问下显著性得分和注意力得分的区别是什么

[ahxchzt]

拜读了诸位在EMNLP 2023的best paper。对文中的Saliency Scores和attention matric的区别不是很了解。就个人感觉，attention matric是不是也可以反映输入的每个token对输出的贡献呢，它和saliency scores的本质区别在哪呢，文中为什么采用了saliency score这一指标。

[leanwang326]

这个主要是因为之前有一些关于attention能否直接起到解释作用的争论，比如attention is not explanation和The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?。虽然说也有文章指出attention的确能起到解释作用attention is not explanation/Attention is Not Only a Weight: Analyzing Transformers with Vector Norms（这篇指出attention乘以value vector norm能有更好的解释性），而且实践中不少文章也依然使用attention的值进行解释，但是这里为了避免麻烦就直接用了saliency

[leanwang326]

而且这里saliency能直接度量对于分类结果的贡献，而attention本身的大小可能还和别的因素有关

[Rainlt]

而且这里saliency能直接度量对于分类结果的贡献，而attention本身的大小可能还和别的因素有关

你好，我想请教一下，如果显著性得分和注意力得分相近的话，Figure 1的线条代表左边的token（self-attention后的输出）由右边的token加权得到，可以这么理解吗？这样的话在浅层应该所有token都有“聚合”的作用，因为其都是由之前的token加权得到的？（当然，在深层的话，权重集中在少量token上是可以理解的）