Open FelixHilyer opened 2 years ago
我发现ReBole中实现的sgnnhn实际上只是sgnn,并没有实现highway network部分。
感谢指出这个问题!
这里我们参考了原作者的实现 [link],可以看到他在模型中定义了 highway_gate 这个模块,但后面并没有使用到。
highway_gate
我之前自行添加并实验过,但可能是我实现有误,效果并不太好,因此在实现这个模型时还是尊重了其原本的写法。如果您正确实现了 Highway Network,欢迎随时通过 PR 的方式帮助我们改进这个代码库,谢谢!
我发现ReBole中实现的sgnnhn实际上只是sgnn,并没有实现highway network部分。