search

FreedomIntelligence / HuatuoGPT-II

HuatuoGPT2, One-stage Training for Medical Adaption of LLMs. (An Open Medical GPT)
371 stars 60 forks source link

微调咨询 #23

Open litongyun233 opened 8 months ago

litongyun233 commented 8 months ago

你好，小白想咨询一下，我们想针对某一个特定的疾病微调一个医疗大模型，请问可以在你们HuatuoGPT2-7B的基础上微调吗？二次微调的性能如何呢？感谢！

jymChen commented 8 months ago

@litongyun233 你好， 可以二次微调的，目前我们也微调了HuatuoGPT2-7B用于分诊任务，效果不错。我们这个分诊任务大概数据量是5万左右，可以参考下。

litongyun233 commented 8 months ago

非常感谢！

litongyun233 commented 8 months ago

@jymChen 大佬您好，还想再请问一下，利用Huatuo2在特定领域二次微调是否有数据处理上的建议？因为我尝试微调后发现模型回答医疗问题的能力特别弱，回答的既不具体，也不像Huatuo2能够分点回答。请问微调出这样能够分点回答的模型，是在SFT数据的时候就有对其进行处理吗？非常感谢！

jymChen commented 5 months ago

@litongyun233 你好，在用Huatuo2在特定领域二次微调时候，可以在新训练的数据里面混入一些Huatuo2原来的训练数据（比如Huatuo2的SFT数据），这样或许有助于让模型保持原本的能力。