你好關於python finetune的參數調整

[TimLeeGee]

想訓練一個一百多條問答的文件，但依照以下參數 python finetune.py \ --dataset_path data/alpaca \ --lora_rank 8 \ --per_device_train_batch_size 6 \ --gradient_accumulation_steps 1 \ --max_steps 52000 \ --save_steps 1000 \ --save_total_limit 2 \ --learning_rate 1e-4 \ --fp16 \ --remove_unused_columns false \ --logging_steps 50 \ --output_dir output

訓練出來的模型，在問答上不理想，甚至語無倫次，請問我該朝哪個方向調整會比較好呢? 入門新手，請多包涵。

[taofennanhai]

最好是从学习率开始调整，每次调小一个数量级。微调的数据越多越好。

[TimLeeGee]

最好是从学习率开始调整，每次调小一个数量级。微调的数据越多越好。

謝謝，我試試。