search

renmada / t5-pegasus-pytorch

402 stars 61 forks source link

你好，我对torch的transfomers不是很了解，我想请教一下如果使用transfomers的mT5训练的时候，需要mask来去除padding的影响吗 #1

Closed 673607154 closed 3 years ago

673607154 commented 3 years ago

苏神的BERT4Keras里面在embedding的时候会根据token_id生成mask， transfomers库里面的T5如果只输入input_ids会自动生成对应的mask来去除padding的影响吗

renmada commented 3 years ago
  1. transfomers 模型都需要传入mask，mask是[1] seq_len + [0] pad_len，可以在tokenize的时候自己生成
  2. 你是用mT5做finetune吗，后续会更新一个用torch的T5做摘要的example
673607154 commented 3 years ago

谢谢，那比如我用T5做finetuning的时候，除了input_ids之外，还要传入attention_mask和decoder_attention_mask吧？

renmada commented 3 years ago

谢谢，那比如我用T5做finetuning的时候，除了input_ids之外，还要传入attention_mask和decoder_attention_mask吧？

对的，两个mask都要传

renmada commented 3 years ago

example已更新

673607154 commented 3 years ago

多谢多谢