hiyoung123 / SoftMaskedBert

Soft-Masked Bert 复现论文:https://arxiv.org/pdf/2005.07421.pdf
255 stars 47 forks source link

代码bug:参数传入错误 #18

Open li-aolong opened 4 years ago

li-aolong commented 4 years ago

soft_masked_bert.py中的41行,传入attention_mask参数的应该是extended_attention_mask,而不是encoder_extended_attention_mask,但是extended_attention_mask值,在36行被输出为_

另外,很奇怪为什么要把原本封装好的函数拆开零散放到_init_inputs()中,内部基本没变还减少了一些东西,感觉没有必要而且降低代码的可阅读性。

lemon234071 commented 4 years ago

soft_masked_bert.py中的41行,传入attention_mask参数的应该是extended_attention_mask,而不是encoder_extended_attention_mask,但是extended_attention_mask值,在36行被输出为_

另外,很奇怪为什么要把原本封装好的函数拆开零散放到_init_inputs()中,内部基本没变还减少了一些东西,感觉没有必要而且降低代码的可阅读性。

拆开是因为需要softmask embedding这个操作吧, 至于参数extended_attention_mask的传递。。。没搞懂作者为什么传encoder_extended_attention_mask。。。