search

LHRLAB / ChatKBQA

[ACL 2024] Official resources of "ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models".
https://arxiv.org/abs/2310.08975
MIT License
225 stars 21 forks source link

跑代码后loss一直是零值 #14

Open zhangapeng opened 2 weeks ago

zhangapeng commented 2 weeks ago

在跑代码的过程中loss刚开始为300多，然后一下跌到零值并且一直是零，请问是什么问题，数据集是按照百度网盘下载并放置。 image

LHRLAB commented 2 weeks ago

建议用Llama模型进行微调，如果还出现问题，可以用 https://github.com/hiyouga/LLaMA-Factory 这个最新LLM微调框架进行微调。