关于预训练模型设计

brightmart / bert_language_understanding

Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN

959 stars 211 forks source link

Open yun97 opened 5 years ago

yun97 commented 5 years ago

请问你是没有用bert 中的encoder -decoder 而是自己设计的CNN 卷积进行预训练和微调的吗？为什么呢，是因为原始的encoder- decoder 效果没有CNN 效果好吗