njcx-ai
commented
2 years ago 您好，本文中每个relation的虚拟type word是同一输入的[sub]和[obj] token, 其按照一定的type分布比例初始化。表6里面不同的句子[sub]和[obj]周围的word会有差别是因为这里算的是其最后的上下文学习后的表征而不是输入的token。 （本文的流程确实是您认为的流程）
Closed Facico closed 2 years ago
njcx-ai
commented
2 years ago 您好，本文中每个relation的虚拟type word是同一输入的[sub]和[obj] token, 其按照一定的type分布比例初始化。表6里面不同的句子[sub]和[obj]周围的word会有差别是因为这里算的是其最后的上下文学习后的表征而不是输入的token。 （本文的流程确实是您认为的流程）
Facico
commented
2 years ago 明白了，感谢
我看了一下代码好像[sub]和[obj]就只是个token，即对每个关系来说，这个type word embedding是一样的。为什么在paper表6里面不同的句子[sub]和[obj]周围的word会有差别，这个type word embedding在inference的时候会变吗？ （我认为的流程：训练得到每个relation的embedding+[sub]和[obj]的embedding后，inference时按照template把[sub]和[obj]、[MASK]插入，预测[MASK]，和relation embedding求相似度。）