internvl2-llama3-76b 微调报错

[zhangfan-algo]

Describe the bug

Additional context torchrun --nproc_per_node ${num_gpu_per_node} --master_port $MASTER_PORT --master_addr $MASTER_ADDR --node_rank $RANK --nnodes $WORLD_SIZE examples/pytorch/llm/llm_sft.py \ --model_cache_dir OpenGVLab/InternVL2-Llama3-76B \ --model_type internvl2-llama3-76b \ --sft_type lora \ --target_modules DEFAULT \ --tuner_backend swift \ --template_type AUTO \ --output_dir output/homework-correction-0830 \ --ddp_backend nccl \ --custom_train_dataset_path homework_correction_train.jsonl \ --dataset_test_ratio 0.01 \ --self_cognition_sample -1 \ --preprocess_num_proc 60 \ --dataloader_num_workers 60 \ --train_dataset_sample -1 \ --dataset_test_ratio 0.01 \ --save_strategy epoch \ --lr_scheduler_type cosine \ --save_total_limit 5 \ --num_train_epochs 5 \ --eval_steps 50 \ --logging_steps 10 \ --max_length 2048 \ --check_dataset_strategy warning \ --gradient_checkpointing true \ --batch_size 4 \ --gradient_accumulation_steps 1 \ --deepspeed_config_path ds_z3_offload_config.json \ --weight_decay 0.01 \ --learning_rate 1e-5 \ --max_grad_norm 0.5 \ --warmup_ratio 0.03 \ --use_flash_attn false \ --save_only_model false \ --save_on_each_node false \ --lazy_tokenize true \ --neftune_noise_alpha 5 \ --dtype AUTO

[zhangfan-algo]

[Jintao-Huang]

先拉最新的代码试试

[zhangfan-algo]

先拉最新的代码试试

上午下拉的最新git代码跑的

[zhangfan-algo]

先拉最新的代码试试

大佬还是不太行呢辛苦尽快看下呢

[tastelikefeet]

--tuner_backend peft 可行吗

[zhangfan-algo]

目前使用transformers==4.44.0能run，但是会报Could not estimate the number of tokens of the input, floating-point operations will not be computed，并且微调后的效果明显差于qwen2-vl-7B的效果