Open Jia-hn opened 8 months ago
mask中使用triu函数导致上三角为True,也就是每个query只考虑之后key,而不是之前的key
没有错,FullAttention里把triu中为1的元素填充为-np.inf了
mask中使用triu函数导致上三角为True,也就是每个query只考虑之后key,而不是之前的key