qwen2-vl-7b-instruct训练vit+porj+llm-lora的内存高

[Lycus99]

我的需求是想训练vision encoder，所以选择微调vit+proj，llm部分用了lora。在swift/llm/tuner.py里给llm增加lora之后，增添了如下代码来训练vit和proj： if not args.freeze_vit: for n, p in model.named_parameters(): if n.startswith('base_model.model.visual'): p.requires_grad = True

命令行参数如下，因为看有一个issue里说vision tower对gradient checkpoint支持的不好，就把它关掉了：

MAX_PIXELS=602112 CUDA_VISIBLE_DEVICES=0,1,2,3 NPROC_PER_NODE=4 swift sft \ --model_type qwen2-vl-7b-instruct \ --model_id_or_path /data/liyc/Code/qwen2-vl-7b-instruct \ --model_revision master \ --sft_type lora \ --tuner_backend peft \ --template_type AUTO \ --dtype AUTO \ --output_dir /data/liyc/Output/qwen2-vl-7b/swift_lora_vit \ --dataset /data/liyc/Dataset/swift_pmv_it_swinir_50k.json \ --deepspeed default-zero3 \ --train_dataset_sample -1 \ --num_train_epochs 3 \ --max_length 600 \ --check_dataset_strategy warning \ --lora_rank 8 \ --lora_alpha 32 \ --lora_dropout_p 0.05 \ --gradient_checkpointing false \ --weight_decay 0.1 \ --learning_rate 1e-4 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --per_device_eval_batch_size 1 \ --max_grad_norm 0.5 \ --warmup_ratio 0.03 \ --eval_steps 500 \ --save_steps 100 \ --save_total_limit 2 \ --logging_steps 10 \ --use_flash_attn true \ --deepspeed zero3-offload \ --freeze_vit false

在训练中，torch=2.2.0，cuda=11.8，四卡h20。训练参数为695.94M，swift输出的gpu显存从最初的32g增加到80.8g。全参数+freeze vit不是才4*60g么，为什么这个显存消耗这么高？

[Lycus99]

我设置 --gradient_checkpointing true，显存确实降下来的，但是为什么会持续增加？