Open clarkhedi opened 2 weeks ago
您好!感谢您的开源代码。 对于mlm代码,我有一点疑惑,如下图所示,最后返回的是原始的text_ids_masked,所以在进行MLM时,与图像交互的文本token是没有进行mask嘛?非常感谢您的回复!
你好。在class TextMaskingGenerator中有mask_generator(text_id)这一步具体完成的工作,在这一步中,text_ids_masked已经改变。可以试试直接打印text_ids_masked的值验证一下。
您好!感谢您的开源代码。 对于mlm代码,我有一点疑惑,如下图所示,最后返回的是原始的text_ids_masked,所以在进行MLM时,与图像交互的文本token是没有进行mask嘛?非常感谢您的回复!