search

thunlp / PL-Marker

Source code for "Packed Levitated Marker for Entity and Relation Extraction"
MIT License
260 stars 35 forks source link

关于Neighborhood-oriented Packing for Span处理问题 #21

Closed duLun008 closed 2 years ago

duLun008 commented 2 years ago
  1. 请问在NER数据中是否需要cluster这个字段？我看到readme中没有该字段，sciner数据是有的
  2. 因为没有看到cluster的脚本，我将句子所有span，也就是n*(n-1)/2个，过滤掉长度大于L的，然后分成K组，这样的策略是跟你论文中一样吗？论文中有点没看懂，而且论文中候选集合中有（N,N-L）这样的span，为什么END<START呢？
YeDeming commented 2 years ago
  1. 不用的，这个是ontonotes的指代消解标注
  2. 是一样的，是NL个span， 应该没有 (N, N-L) 这样的
duLun008 commented 2 years ago

感谢解答。 另外，每组span数量取多少比较合适？

YeDeming commented 2 years ago

我的实验里取了256，我记得取128效果也只差0.2以内

kk19990709 commented 2 years ago

感谢您的耐心解答，我看您源码的full_attention_mask的长度是1024。预训练模型的输入长度限制一般是512，请问输入是怎么放进去的呢？

YeDeming commented 2 years ago

可以输入1024的，只需要传入对应position id就行