Closed chenhaishun closed 2 years ago
您好:
好的 非常感谢您的回复 @njcx-ai
再次打搅,请问论文中“we expand the MLM Head layer of L with extra learnable relation embeddings as the virtual answer word sets V' "应当怎么理解呢?
假设BERT的MLM Head对应15000个词汇表embedding (Ps: MLM head 最后一层的权重就是词汇表embedding,可自行查阅huggingface 代码),我们在此基础上扩展N个作为virtual answer word的embedding。
明白了 再次感谢您的回复 @njcx-ai
在阅读本篇优秀论文的一些疑问:
期待作者们的回复!非常感谢!