search

moneyDboat / data_grand

2018达观杯文本智能处理挑战赛 Top10解决方案（10/3830）
216 stars 84 forks source link

关于kmax_pooling #5

Open atnlp opened 6 years ago

atnlp commented 6 years ago

请问一下关于rnn中kmax_pooling的用法目前用的多吗，如果不进行这步操作，直接在out = self.bilstm(embed)[0].permute(1, 2, 0)这一步中直接取最后一个时间步？

moneyDboat commented 6 years ago

看数据集，这次的数据集文本非常长，用kmax_pooling比只取最后一个时间步效果好不少

moneyDboat commented 6 years ago

另外用attention代替kmax_pooking的效果也不错

atnlp commented 6 years ago

感谢！那我都尝试对比一下。

atnlp commented 5 years ago

对于LSTM中Attention的代码有些不太理解，GRU中Attention的处理方式和可以查阅到的一些方法类似，先定义W再通过tanh函数和softmax这个套路，LSTM中的这种完全依赖于out和h_n的Attention机制是在LSTM中约定成俗的方法吗？

atnlp commented 5 years ago

您当时有没有尝试过在LSTM中也使用GRU中定义的Attention方法？