search

ZixinxinWang / Legal-Eagle-InternLM

Legal-Eagle-InternLM 是一个基于商汤科技和上海人工智能实验室推出的书生浦语大模型InternLM的法律问答机器人。旨在为用户提供符合3H（即Helpful、Honest、Harmless）原则的专业、智能、全面的法律服务的法律领域大模型。
Apache License 2.0
35 stars 4 forks source link

关于是否进行增量预训练问题 #4

Closed Eren139 closed 2 hours ago

Eren139 commented 2 hours ago

你好！通过你对项目的描述我好像发现你没有进行法律领域的增量预训练，是intermlm本身就有法律领域的预训练知识吗？没有进行法律领域的增量预训练就直接微调的话效果怎么样呢？

ZixinxinWang commented 2 hours ago

效果上还是会有幻觉的，这个不可避免。可以尝试进行增量预训练。在LLM预训练阶段，法律领域的知识肯定是训练过的。 https://github.com/hiyouga/LLaMA-Factory

Eren139 commented 2 hours ago

好的，十分感谢你的回答

效果上还是会有幻觉的，这个不可避免。可以尝试进行增量预训练。在LLM预训练阶段，法律领域的知识肯定是训练过的。 https://github.com/hiyouga/LLaMA-Factory