search

Lizhen0628 / text_classification

使用rnn,lstm,gru,fasttext,textcnn,dpcnn,rnn-att,lstm-att,兼容huggleface/transformers，以及以transforemrs作为词嵌入模型，后面接入cnn、rnn、attention等等做文本分类。以及各个模型的对比
498 stars 76 forks source link

关于output和hidden_state中的batch顺序问题 #12

Open TonyWu199 opened 3 years ago

TonyWu199 commented 3 years ago

在输出output后，output需要调整成原batch顺序，那hidden_state应该也要进行调整吧

Lizhen0628 commented 3 years ago

check it again

TonyWu199 commented 3 years ago

NLP新手，还请大佬能指明下，多谢。我主要是疑惑model.py文件中的313行，output调回batch_size原序(因为打包所以之前进行了按照seq_length排序)，为什么hidden不需要跟着一起调整顺序。因为我做了下实验，发现hidden其实也需要一个类似hidden[sort_indices]的操作。不知作者这个操作在第几行进行的，又或者代码中其实并不需要这个操作。感谢。

Lizhen0628 commented 3 years ago

你说的对，hidden 需要调整，是我这里疏漏了，感谢提醒。