search

terrifyzhao / text_matching

常用文本匹配模型tf版本，数据集为QA_corpus，持续更新中
Apache License 2.0
673 stars 188 forks source link

esim模型中attention方面的疑问 #4

Open 34127chi opened 5 years ago

34127chi commented 5 years ago

b_attention是不是不需要最外层的转置

建议attention的时候不考虑padding部分 可以参考transformer的attention部分

sszhaoGit commented 5 years ago

b_attention最外层的转置没看明白呢，可以解答下吗？

34127chi commented 5 years ago

@sszhaoGit 我觉得是写错了 这是我的pr https://github.com/terrifyzhao/text_matching/pull/5/commits/002758625b16366fc4985c8dd6fddfb4ccfcf9ff

showintime commented 4 years ago

同感，确实写错了，b_attention两次转置怎么想怎么觉得不对，后来仔细一想，维度都对不上。