数据集的格式都是输入问答对的方式，能不能直接输入一篇文档作为数据集来微调训练？[Feature] <title>

[dizhenx]

Is your feature request related to a problem? Please describe.

数据集的格式都是输入问答对的方式，能不能直接输入一篇文档作为数据集来微调训练？ 比如我有一个法条的txt文档，一万字左右。我想塞进去直接训练，让模型理解。然后对模型提问相关的问题，让他回答法条问题。 类似于chatpdf这种，但是跟chatpdf不一样，chatpdf是不用训练，直接embedding加知识库检索的方式。我这里能否直接塞进去一篇文档进行训练，让他达到chatpdf的效果？

Solutions

数据集的格式都是输入问答对的方式，能不能直接输入一篇文档作为数据集来微调训练？ 比如我有一个法条的txt文档，一万字左右。我想塞进去直接训练，让模型理解。然后对模型提问相关的问题，让他回答法条问题。 类似于chatpdf这种，但是跟chatpdf不一样，chatpdf是不用训练，直接embedding加知识库检索的方式。我这里能否直接塞进去一篇文档进行训练，让他达到chatpdf的效果？

Additional context

No response

[skf15963]

可以尝试了解一下 chatglm + langchain

[dizhenx]

可以尝试了解一下 chatglm + langchain

这个我试过，他这个是检索文档，不是把文档放进去训练

[TE-Raven]

训练不好整吧，可能的解决方案是langchain和多轮对话先输入文本，再提问，后者glm6b效果不好

[RuiNov1st]

大佬你解决了吗，我最近也想做这个东西

[tomcat123a]

https://github.com/shibing624/MedicalGPT 参考这个项目，预训练，指令微调，rm模型训练，ppo都有现成的