search

bringtree / question_embedding

这个仓库的issues里记录了许多奇奇怪怪的东西(100+)。
1 stars 1 forks source link

GMM attention #186

Open bringtree opened 4 years ago

bringtree commented 4 years ago

image decoder端 输入的query 计算出 GMM 的三个参数( w,u,sigma)

每个decoder时刻都会有一个 给encoder 编码出来所有结果共用的 GMM 同时为了保证单调性， 将u进行历史积累 递增。

这样就能实现 每次计算完，比如 第一次在h_1 高权重，第二次就会在h_1之后来高权重 而不会在 h_1 之前高权重。