llama board测评模型效果差

[xiao-liya]

Reminder

• [X] I have read the README and searched the existing issues.

System Info

• llamafactory version: 0.8.3.dev0
• Platform: Linux-5.19.0-32-generic-x86_64-with-glibc2.35
• Python version: 3.10.14
• PyTorch version: 2.3.0+cu121 (GPU)
• Transformers version: 4.41.2
• Datasets version: 2.20.0
• Accelerate version: 0.31.0
• PEFT version: 0.11.1
• TRL version: 0.9.4
• llamafactory.model.model_utils.attention - Using torch SDPA
• GPU type: NVIDIA A800 80GB PCIe
• DeepSpeed version: 0.14.0
• vLLM version: 0.4.3

Reproduction

export GRADIO_SERVER_PORT=端口号

python webui.py

Expected behavior

测评Qwen2-72B-Instruct的模型输出效果。 我在poe的测评Qwen2-72B-Instruct的输出结果，基本可以按照我的提示词输出，但是把Qwen2-72B-Instruct下载我的服务器上，在llama board上加载后测评，一样提示词，效果很差，会出现重复现象，有时乱码。这可能是什么原因， 我的top-p，温度系数的设置有关吗？

Others

No response