search

hiyouga / LLaMA-Factory

Unify Efficient Fine-Tuning of 100+ LLMs
Apache License 2.0
25.26k stars 3.13k forks source link

Llama3 微调文本分类数据集准备的格式，以及微调后模型回答输出非标签内容 #4550

Closed git3210 closed 3 days ago

git3210 commented 3 days ago

Reminder

System Info

sft模型 FlagAlpha/Llama3-Chinese-8B-Instruct， 文本分类任务，数据集格式： Human: 请给出下面文本对应分类标签, {文本正文}\r\nAssistant: {标签}\r\n 遇到的问题如下，请问问题点出现在哪里？数据集格式不对还是其它问题？谢谢

  1. 微调后回答内容非标签内容
  2. 部分训练文本标签内容输出不正确

Reproduction

遇到的问题如下，请问问题点出现在哪里？数据集格式不对还是其它问题？谢谢

  1. 微调后回答内容非标签内容
  2. 部分训练文本标签内容输出不正确

Expected behavior

No response

Others

No response

hiyouga commented 3 days ago

无法复现