search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.44k stars 300 forks source link

预训练输入最后的切片不会导致模型的输入少一个长度吗？ #81

Open AI-Study-Han opened 1 month ago

AI-Study-Han commented 1 month ago

def getitem(self, index: int): # sample = self.data[index] X=np.array(sample[:-1]).astype(np.int64) Y=np.array(sample[1:]).astype(np.int64)

PretrainDateset这里最后的切片操作不会导致模型的输入是max_length-1吗？