nndl / nndl.github.io

《神经网络与深度学习》 邱锡鹏著 Neural Network and Deep Learning
https://nndl.github.io
17.37k stars 3.58k forks source link

指针网络的公式是否有误 公式(8.15) #598

Open Williams-Hao opened 3 years ago

Williams-Hao commented 3 years ago

推导错误:P198 公式8.15 中是否有错误。

邱老师您好,首先感谢您的书,对于我等初学者真是福音!我在读您的书【注意力章节-指针网络】这里有点疑惑,想在这里讨论一下。

公式(8.15): s_m,n = v$T tanh(Wx_n + Uh_m), 这里的x_n, h_m分别表示输入序列向量, 和输入序列的隐层向量。

这里的x_n是否有误,是否应为h_n ?

原因如下:

  1. 我翻看了Pointer Network论文, 未归一化的注意力分布是:u^i_j=v^T tanh(W_1e_j + W_2 d_i) 这里e_j, d_i分别表示输入序列和输出序列的隐层向量。
sadscv commented 3 years ago

在看了一遍Pointer Netwok的论文之后,我觉得你说得是对的。