大模型微调分类任务，但是预测结果是不固定的

[nvliajia]

Reminder

• [X] I have read the README and searched the existing issues.

System Info

大模型微调了一个分类任务，但是预测的结果并不是固定的，训练和预测需要修改什么吗

Reproduction

大模型微调了一个分类任务，但是预测的结果并不是固定的，训练和预测需要修改什么吗

Expected behavior

大模型微调了一个分类任务，但是预测的结果并不是固定的，训练和预测需要修改什么吗

Others

No response

[hiyouga]

do_sample: false

[nvliajia]

我设置了src/llmtuner/hparams目录下面generating_args.py脚本里的do_sample为False，但是结果仍然是不固定的，需要把do_sample: false加到训练的yaml文件里吗

[nvliajia]

设置do_sample: false后，结果仍然不固定