为什么训练时候没有设定attention_mask这个参数

[Choitsugun]

model.forward(input_ids=input_ids) 为什么没有设定attention_mask这个参数， 不设定的话会导致在数据预处理时填充PAD的部分也会得到注意力分数, 这样行吗？请帮解释一下。

[Luciferder]

这样应该是不好的。我测试过，这样训练出来的模型， 如果进行batch的generate，那么pad token的数量会影响生成结果，导致模型的生成不稳定。