使用Unsloth反而OOM了是为什么呢？

yangjianxin1 / Firefly

Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型

5.87k stars 526 forks source link

使用Unsloth反而OOM了是为什么呢？ #266

Closed yuyu990116 closed 5 months ago

yuyu990116 commented 5 months ago

pytorch:2.3.0

cuda:11.8

flash-attn:2.5.9.post1

python 3.10

unsloth是pip install git+https://github.com/yangjianxin1/unsloth.git 这样下的

不开unsloth可以跑，开了之后max_length改到512，per device_train_batch_size改为1都OOM，是我哪里使用的不对吗 ![Uploading 微信图片_20240603142434.png…]()

yuyu990116 commented 5 months ago

RTX 4090 八卡，训练指令torchrun --nproc_per_node={num_gpus} train.py --train_args_file train_args/sft/qlora/yi-6b-sft-qlora.json

yuyu990116 commented 5 months ago

微信图片_20240603142804