search

bojone / BERT-whitening

简单的向量白化改善句向量质量
481 stars 66 forks source link

自定义全局池化中的mask #4

Open yangxinmax opened 3 years ago

yangxinmax commented 3 years ago

苏神： 您好！ 在学习这个代码时，最后对bert的对应的输出做自定义全局池化时，看到是有一个mask输入，不是太清楚这个mask是什么？这个mask是bert源码中input_mask吗【即‘1 for real tokens and 0 for padding tokens’】？

感谢。

bojone commented 3 years ago

标记哪些是padding部分