模型更改问题 - Githubissues

JasonForJoy / SA-BERT

CIKM 2020: Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots

75 stars 13 forks source link

模型更改问题 #3

Closed cccccs closed 4 years ago

cccccs commented 4 years ago

你好如果我想在你的模型基础上增加一层RNN可以实现吗（比较小白的问题）不太知道应该如何实现比较好，是应该在embedding_lookup和embedding_postprocessor之间增加吗？

JasonForJoy commented 4 years ago

@cccccs 现在很多方法会在BERT之后加上一层网络

cccccs commented 4 years ago

好的谢谢那我如果在你的这个模型上更改是应该在with tf.variable_scope("encoder")之后、with tf.variable_scope("pooler")之前增加吗

JasonForJoy commented 4 years ago

@cccccs 没有必要修改BERT model 可以把 create_model( ) 中的 output_layer = model.get_pooled_output( ) 改为 output_layer = model.get_sequence_output( ) 得到每个token的representation，然后再加上一层网络

cccccs commented 4 years ago

好的非常感谢！