search

hiyoung123 / SoftMaskedBert

Soft-Masked Bert 复现论文:https://arxiv.org/pdf/2005.07421.pdf
255 stars 47 forks source link

代码bug：参数传入错误 #18

Open li-aolong opened 4 years ago

li-aolong commented 4 years ago

在soft_masked_bert.py中的41行，传入attention_mask参数的应该是extended_attention_mask，而不是encoder_extended_attention_mask，但是extended_attention_mask值，在36行被输出为_。

另外，很奇怪为什么要把原本封装好的函数拆开零散放到_init_inputs()中，内部基本没变还减少了一些东西，感觉没有必要而且降低代码的可阅读性。

lemon234071 commented 4 years ago

在soft_masked_bert.py中的41行，传入attention_mask参数的应该是extended_attention_mask，而不是encoder_extended_attention_mask，但是extended_attention_mask值，在36行被输出为_。

另外，很奇怪为什么要把原本封装好的函数拆开零散放到_init_inputs()中，内部基本没变还减少了一些东西，感觉没有必要而且降低代码的可阅读性。

拆开是因为需要softmask embedding这个操作吧， 至于参数extended_attention_mask的传递。。。没搞懂作者为什么传encoder_extended_attention_mask。。。