微调后模型推理和图片对不上

atomrun39 commented 10 months ago

python cli_demo.py，微调前描述和图像相符，微调后和图片不相符了对于代码中提供的小狗图片示例，微调前企业微信截图_16989145289256 微调后企业微信截图_16989146962412 微调脚本，我的训练数据有9w左右，是什么原因导致的呢： `#! /bin/bash NUM_WORKERS=1 NUM_GPUS_PER_WORKER=6 MP_SIZE=1

script_path=$(realpath $0) script_dir=$(dirname $script_path) main_dir=$(dirname $script_dir) MODEL_TYPE="visualglm-6b" MODEL_ARGS="--max_source_length 128 \ --max_target_length 256 \ --lora_rank 10 \ --layer_range 0 14 \ --pre_seq_len 4"

OPTIONS_NCCL="NCCL_DEBUG=info NCCL_IB_DISABLE=0 NCCL_NET_GDR_LEVEL=2" HOST_FILE_PATH="hostfile" HOST_FILE_PATH="hostfile_single"

train_data="/work/home/VisualGLM-6B-main/finetune_dataset/train_ft.json" eval_data="/work/home/VisualGLM-6B-main/finetune_dataset/valid_ft.json"

gpt_options=" \ --experiment-name finetune-$MODEL_TYPE \ --model-parallel-size ${MP_SIZE} \ --mode finetune \ --train-iters 100000 \ --resume-dataloader \ $MODEL_ARGS \ --train-data ${train_data} \ --valid-data ${eval_data} \ --distributed-backend nccl \ --lr-decay-style cosine \ --warmup .02 \ --checkpoint-activations \ --save-interval 10000 \ --eval-interval 1000000 \ --save "./checkpoints" \ --split 1 \ --eval-iters 15000 \ --eval-batch-size 16 \ --zero-stage 1 \ --lr 0.0001 \ --batch-size 16 \ --skip-init \ --fp16 \ --use_lora " run_cmd="${OPTIONS_NCCL} ${OPTIONS_SAT} deepspeed --master_port 16666 --include localhost:0,1,2,3,4,5 --hostfile ${HOST_FILE_PATH} updata_visualglm.py ${gpt_options}" echo ${run_cmd} eval ${run_cmd}

set +x`

我之前跑官方的20张标注图增强模型回答“背景”问题的例子，训出来也有这个问题，描述和图片对不上，是哪里出问题了呢？