Open 13145314593 opened 3 years ago
没怎么看过源码,单纯的从KG-BERT和BERT的模型图中提问,BERT的sentenceA和B中的token都是相互交互的,而KG-BERT中head entity中的第一个token并没有和其他部分的token进行交互,而最后一个token只和[SEP],token1,relation中的token1交互,是模型图没有画全还是模型就是设置成这样的?
没怎么看过源码,单纯的从KG-BERT和BERT的模型图中提问,BERT的sentenceA和B中的token都是相互交互的,而KG-BERT中head entity中的第一个token并没有和其他部分的token进行交互,而最后一个token只和[SEP],token1,relation中的token1交互,是模型图没有画全还是模型就是设置成这样的?