search

modelscope / ms-swift

Use PEFT or Full-parameter to finetune 300+ LLMs or 80+ MLLMs. (Qwen2, GLM4v, Internlm2.5, Yi, Llama3.1, Llava-Video, Internvl2, MiniCPM-V-2.6, Deepseek, Baichuan2, Gemma2, Phi3-Vision, ...)
https://swift.readthedocs.io/zh-cn/latest/Instruction/index.html
Apache License 2.0
3.39k stars 289 forks source link

感觉是用了fp16的原因. 你可以试试bf16或者fp32不 #1788

Closed LUI-TECH closed 2 weeks ago

LUI-TECH commented 3 weeks ago 
          感觉是用了fp16的原因. 你可以试试bf16或者fp32不

Originally posted by @Jintao-Huang in https://github.com/modelscope/ms-swift/issues/1613#issuecomment-2301746025

大佬我用的参数是auto，V100不支持bf16，应该是默认使用fp16了。不知道有没有v100的使用方法

Jintao-Huang commented 3 weeks ago

用fp32

LUI-TECH commented 3 weeks ago

用fp32 我的资源好像不足以跑32的，但是我试了一下用minicpm 自己的finetune脚本跑，没有问题，估计是swift和他的适配还有点不足

Jintao-Huang commented 2 weeks ago

可以拉一下main分支进行测试不