chen700564 / sdnet

Other
38 stars 6 forks source link

实体提及 #2

Open gao929165733 opened 2 years ago

gao929165733 commented 2 years ago

在第一步实体描述生成阶段,需要输实体信息,如{[MD] Harry Potter,....},这个实体提及怎么获取呢,直接使用wiki的数据得到吗?谢谢

chen700564 commented 2 years ago

你好,实体提及来源于标注数据。

在few-shot学习中,会为每个类别提供少量标注数据,模型生成标注实体的描述。

如果想进行zero-shot,则可以采用人工生成类别描述,此时不需要生成实体提及描述。

gao929165733 commented 2 years ago

在训练阶段是有标注的实体提及,作为输入;但是预测阶段,实体提及的信息怎么获得,并作为输入呢,也就是{[MD] Harry Potter,....}这里面的数据,谢谢您的解答!

chen700564 commented 2 years ago

预测阶段使用的也是标注数据生成的实体提及描述。

训练过程:获得标注数据实体提及描述,构建类别描述,进行训练。 测试过程:使用训练过程获得类别描述进行预测。

gao929165733 commented 2 years ago

我在数据集中好像没有发现预训练的数据,后续会开源吗?

loriqing commented 2 years ago

预训练数据集构造方法如文章所述,暂时不会开源。可以直接使用预训练好的SDNet模型,已开源。