Open lushishuai opened 4 years ago
@lushishuai
你好,三个句子type_ids: 0 0 0 0 1 1 0 0 0 0 不是BERT自带的,是我根据segment id的定义,以及预训练BERT只有两种segment id的现实设计的。
虽然用于三元组与BERT预训练的上下句有不一致之处,但输入很相似,BERT预训练仍然有助于三个句子间关系的推断,且预训练BERT已被成功应用于文本摘要等多句子任务。例如:
Liu, Y. and Lapata, M., 2019, November. Text Summarization with Pretrained Encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 3721-3731).
由于是微调预训练BERT,实体词只参与微调,没有被mask。
作者你好,我有两个疑问想要询问一下。第一个疑问,我之前并没有接触过bert处理三个句子(或者实体),对于您代码中写的for sequence triples:
tokens: [CLS] Steve Jobs [SEP] founded [SEP] Apple Inc .[SEP]