search

lonePatient / BERT-NER-Pytorch

Chinese NER(Named Entity Recognition) using BERT(Softmax, CRF, Span)
MIT License
2.05k stars 425 forks source link

为什么数据经过DataLoader后变短了 #81

Open wulalahalala opened 2 years ago

wulalahalala commented 2 years ago

样本的长度为128，经过DataLoader后就变成了27，请问这个是什么原因呢？

wuboyu88 commented 2 years ago

样本的长度为128，经过DataLoader后就变成了27，请问这个是什么原因呢？

是因为不同的batch对应的sequence长度可以不一样，而同一个batch对应的sequence长度是根据该batch中最长sequence的长度进行padding的