yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
3.03k stars 368 forks source link

train_llava数据填充是否有问题? #186

Closed AI-Study-Han closed 1 month ago

AI-Study-Han commented 1 month ago

zero_nlp/train_llava/train_llava/data.py代码中对数据进行填充:

final_labels = torch.concat( [ torch.concat( [ torch.full( (1, max_input_len - max_input_len_list[index]), self.ingnore_index, ), value, ], axis=1, ) for index, value in enumerate(labels_list) ] ) 这里为什么对labels使用左侧填充,sft的数据labels不应该使用右侧填充吗?而且填充长度应该是labels的最大长度吧,不应该是问题的最大长度吧?

AI-Study-Han commented 1 month ago

我自己看错了。