如何进行自有数据集下finetune训练配置

[elesun2018]

基于VisualGLM6B多模态大模型，进行finetune 按照readme已训练完成fewshot-data，观察到背景能力理解增强了。 但是在finetune自己数据集的时候，出现了严重的过拟合，请问如何进行调教大模型 训练参数需要特别注意什么，谢谢

[1049451037]

是否过拟合的影响因素有很多，可训练参数的多少、数据量的大小、训练迭代次数。这些只能自己通过实验获得在你的场景下最好的配置。

[elesun2018]

MODEL_TYPE="XrayGLM" MODEL_ARGS="--max_source_length 64 \ --max_target_length 256 \ --lora_rank 10\ --pre_seq_len 4" --lr-decay-style cosine \ --warmup .02 \ --checkpoint-activations \ --save-interval 3000 \ --eval-interval 10000 \ --save "./checkpoints" \ --split 1 \ --eval-iters 10 \ --eval-batch-size 4 \ --zero-stage 1 \ --lr 0.0001 \ --batch-size 4 \ --skip-init \ --fp16 \ --use_lora