hezj-opt / comments

0 stars 0 forks source link

李宏毅机器学习-lect4 Self attention · 核子的Blog #24

Open hezj-opt opened 1 year ago

hezj-opt commented 1 year ago

https://hezj-opt.github.io/Deep-Learning/%E6%9D%8E%E5%AE%8F%E6%AF%85%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E6%9D%8E%E5%AE%8F%E6%AF%85%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-lect4-Self-attention/

Self attention 解决什么问题

FC(Fully Connected)有什么不足

Self attention 的架构 Self attention 的基本计算过程

求attention score 求解Self attention层输出的向量 矩阵视角下的计算过程

Self