torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 32.00 MiB. GP

[justdoit-aaron]

总是报显存问题，初始化了显存大小也不起作用

[echonoshy]

看起来你的gpu显存太小了， finetune一个8b版本的llama3需要最少24g显存（RTX 4090)， 请检查一下你的显卡性能，并且尝试使用更小版本的模型，或者使用多卡训练呢。

[justdoit-aaron]

看起来你的gpu显存太小了， finetune一个8b版本的llama3需要最少24g显存（RTX 4090)， 请检查一下你的显卡性能，并且尝试使用更小版本的模型，或者使用多卡训练呢。

4070 ti的

[echonoshy]

1. 检查一下你的显存占用情况， 这个问题就是爆显存了。
2. 重新训练的时候，看一下你的显存有没有被清空。