search

ProjectD-AI / llama_inference

llama inference for tencentpretrain
GNU General Public License v3.0
96 stars 11 forks source link

fp32 精度-inference #10

Open biubiobiu opened 1 year ago

biubiobiu commented 1 year ago

如果需要fp32，修改llama_infer.py的L41为对应的精度。 大佬，这个是什么意思啊？是在llama_infer.py的第41行修改吗？使用fp32精度该怎么配置呀

fengyh3 commented 1 year ago

不好意思，readme没有改，只需要注释掉第43行：torch.set_default_tensor_type(torch.HalfTensor) 即可。

biubiobiu commented 1 year ago

谢谢大佬，我试一下

Ke51n commented 1 year ago

不好意思，readme没有改，只需要注释掉第43行：torch.set_default_tensor_type(torch.HalfTensor) 即可。

请问有没有fp32转16的脚本呀，我这边只有32的模型，但是加载时显存不够