search

ShannonAI / mrc-for-flat-nested-ner

Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`
643 stars 117 forks source link

序列长度问题 #63

Closed topDreamer closed 3 years ago

topDreamer commented 3 years ago

您好！感谢代码开源～由于bert最长只能接收512长度的序列，请问在traindata和testdata构造数据集的时候，长度超过512是怎么构造数据集的呢？

Maybewuss commented 3 years ago

同问，看了下代码发现evaluate的时候并没有考虑序列长度问题，这样评估会丢掉一些答案？

YuxianMeng commented 3 years ago

@topDreamer Hi, 我们这里没有实现超过512的长度的inference，但如果需要评测超长的句子，个人建议是使用sliding window的方式将长文本切成一系列短文本。