Open kaseketsu opened 3 months ago
GRU的隐状态更新代码理应是:hidden_state = U H_tilda + (1 - U) hidden_state 而非书中的hidden_state = (1 - U) H_tilda + U hidden_state
经检查,确实存在书中公式与代码不一致的情况,我们会在后续更改。
不过在实践中,这两种写法没有区别,U与(1-U)是等价的。
GRU的隐状态更新代码理应是:hidden_state = U H_tilda + (1 - U) hidden_state 而非书中的hidden_state = (1 - U) H_tilda + U hidden_state