Open BrambleXu opened 5 years ago
Summary:
提出了基于y gradient-based measures对 feature importance进行评估的方法。#228 用来判断每个head重要性。直观上理解,当对于某个token的attention变化的时候,对于BERT最终的输出有多么大的影响。
Resource:
Paper information:
Notes:
Model Graph:
Result::
Thoughts:
Next Reading:
Summary:
提出了基于y gradient-based measures对 feature importance进行评估的方法。#228 用来判断每个head重要性。直观上理解,当对于某个token的attention变化的时候,对于BERT最终的输出有多么大的影响。
Resource:
Paper information:
Notes:
Model Graph:
Result::
Thoughts:
Next Reading: