Open df2046df opened 2 months ago
你应该是运行的7B版本的sft吧,我在sft load模型的时候,模型会先load到cpu,然后再pipeline parallel到对应的GPU上,你这里我感觉应该是CPU内存不够,存不下半精度的7~8B的模型(7~8B模型 半精度,约需要14~16GB的存储空间)
你应该是运行的7B版本的sft吧,我在sft load模型的时候,模型会先load到cpu,然后再pipeline parallel到对应的GPU上,你这里我感觉应该是CPU内存不够,存不下半精度的7~8B的模型(7~8B模型 半精度,约需要14~16GB的存储空间)
那可以做到把模型直接load到gpu上吗,我这边的cpu可能达不到这个要求
把这里hard code成device_map="cuda"
试一下吧
我在运行SFT时出现了系统内存不足的情况: RuntimeError: [enforce fail at alloc_cpu.cpp:83] err == 0. DefaultCPUAllocator: can't allocate memory: you tried to allocate 15132180480 bytes. Error code 12 (Cannot allocate memory) 请问这种问题可能是什么原因导致的呢,初次接触SFT,对这方面不太懂,想请您解答一下