Open atomrun39 opened 10 months ago
我也是,微调的效果很差,甚至还有幻觉问题
求解这是为什么呀,我sat和VisualGLM-6B仓库代码都是新版本 @1049451037
跑官方例子,微调后直接乱码
同问,输入一个数据,输出别的数据的输出
求解这是为什么呀,我sat和VisualGLM-6B仓库代码都是新版本 @1049451037 跑官方例子,微调后直接乱码
大哥我也遇到了这个问题,请问你最后解决了吗?
求解这是为什么呀,我sat和VisualGLM-6B仓库代码都是新版本 @1049451037 跑官方例子,微调后直接乱码
大哥我也遇到了这个问题,请问你最后解决了吗?
大哥,我也遇到这个问题了,请问解决了吗?
python cli_demo.py
,微调前描述和图像相符,微调后和图片不相符了 对于代码中提供的小狗图片示例, 微调前script_path=$(realpath $0) script_dir=$(dirname $script_path) main_dir=$(dirname $script_dir) MODEL_TYPE="visualglm-6b" MODEL_ARGS="--max_source_length 128 \ --max_target_length 256 \ --lora_rank 10 \ --layer_range 0 14 \ --pre_seq_len 4"
OPTIONS_NCCL="NCCL_DEBUG=info NCCL_IB_DISABLE=0 NCCL_NET_GDR_LEVEL=2" HOST_FILE_PATH="hostfile" HOST_FILE_PATH="hostfile_single"
train_data="/work/home/VisualGLM-6B-main/finetune_dataset/train_ft.json" eval_data="/work/home/VisualGLM-6B-main/finetune_dataset/valid_ft.json"
gpt_options=" \ --experiment-name finetune-$MODEL_TYPE \ --model-parallel-size ${MP_SIZE} \ --mode finetune \ --train-iters 100000 \ --resume-dataloader \ $MODEL_ARGS \ --train-data ${train_data} \ --valid-data ${eval_data} \ --distributed-backend nccl \ --lr-decay-style cosine \ --warmup .02 \ --checkpoint-activations \ --save-interval 10000 \ --eval-interval 1000000 \ --save "./checkpoints" \ --split 1 \ --eval-iters 15000 \ --eval-batch-size 16 \ --zero-stage 1 \ --lr 0.0001 \ --batch-size 16 \ --skip-init \ --fp16 \ --use_lora " run_cmd="${OPTIONS_NCCL} ${OPTIONS_SAT} deepspeed --master_port 16666 --include localhost:0,1,2,3,4,5 --hostfile ${HOST_FILE_PATH} updata_visualglm.py ${gpt_options}" echo ${run_cmd} eval ${run_cmd}
set +x`
我之前跑官方的20张标注图增强模型回答“背景”问题的例子,训出来也有这个问题,描述和图片对不上,是哪里出问题了呢?