Alibi编码为什么和标准的Alibi编码不一致？

baichuan-inc / Baichuan-13B

A 13B large language model developed by Baichuan Intelligent Technology

Apache License 2.0

2.98k stars 236 forks source link

Open wx971025 opened 1 year ago

wx971025 commented 1 year ago

alibi捕获相对位置，对角线元素应该一致吧，但是为什么baichuan的不一致？是有什么玄机吗？