Closed AI-Study-Han closed 1 month ago
zero_nlp/train_llava/train_llava/data.py代码中对数据进行填充:
final_labels = torch.concat( [ torch.concat( [ torch.full( (1, max_input_len - max_input_len_list[index]), self.ingnore_index, ), value, ], axis=1, ) for index, value in enumerate(labels_list) ] ) 这里为什么对labels使用左侧填充,sft的数据labels不应该使用右侧填充吗?而且填充长度应该是labels的最大长度吧,不应该是问题的最大长度吧?
我自己看错了。
zero_nlp/train_llava/train_llava/data.py代码中对数据进行填充:
final_labels = torch.concat( [ torch.concat( [ torch.full( (1, max_input_len - max_input_len_list[index]), self.ingnore_index, ), value, ], axis=1, ) for index, value in enumerate(labels_list) ] ) 这里为什么对labels使用左侧填充,sft的数据labels不应该使用右侧填充吗?而且填充长度应该是labels的最大长度吧,不应该是问题的最大长度吧?