search

yanqiangmiffy / InstructGLM

ChatGLM-6B 指令学习|指令数据|Instruct
MIT License
654 stars 51 forks source link

预测时，torch.set_default_tensor_type(torch.cuda.HalfTensor)的问题 #24

Closed reborm closed 1 year ago

reborm commented 1 year ago

请问下，在预测的时候加载模型时为什么一开始要使用torch.set_default_tensor_type(torch.cuda.HalfTensor)，模型加载完成后又要使用torch.set_default_tensor_type(torch.cuda.FloatTensor) image