【小白请教】今天试了一下，遇到几个问题，求助，拜托了。

FreedomIntelligence / HuatuoGPT-II

HuatuoGPT2, One-stage Training for Medical Adaption of LLMs. (An Open Medical GPT)

371 stars 60 forks source link

Open taurusduan opened 3 months ago

taurusduan commented 3 months ago

1.使用的是7b模型。llama.cpp部署的，可以流畅运行，但是提问回复乱七八糟，请问一下模型是不是没有对话模板啊？

2，请问一下4bit量化后模型损失大吗？之前一直使用gpt4和《中国药典》做了一个毕业设计。如果损失不大我想用huatuogpt来替换gpt4.

LieWell commented 1 month ago

就直接启动，完全不知道在说啥

taurusduan commented 1 month ago

就直接启动，完全不知道在说啥

抱歉啊，我这边llamacpp启动，对话是乱码。。。