ML Attention PE

[junxnone]

Position Encoding

Reference

• 教你直观理解 Position-Encoding
• transformer的Position encoding的总结
• 如何理解Transformer论文中的positional encoding，和三角函数有什么关系？

Brief

• 相近的位置拥有相近的位置编码向量
• 相对位置的 位置编码向量可以通过线性变换获取

Positional Encoding :-- |

---

• 方式1 - Pos = 0,1,2,3....T-1
  • 大数值 T-1 对模型干扰
• 方式2 - Pos = pos/(T-1) = [0,1]
  • 不同长度的文本步长不同
• 方式3 - Pos = sin(pos/α)
  • 仅关注一定范围内的相对次序关系

[junxnone]

junxnone/aiwiki#212