search

SmartFlowAI / EmoLLM

心理健康大模型、LLM、The Big Model of Mental Health、Finetune、InternLM2、InternLM2.5、Qwen、ChatGLM、Baichuan、DeepSeek、Mixtral、LLama3、GLM4、Qwen2、LLama3.1
https://openxlab.org.cn/apps/detail/chg0901/EmoLLMV3.0
MIT License
831 stars 121 forks source link

关于ChatGLM3的推理 #243

Closed RyanOvO closed 5 months ago

RyanOvO commented 5 months ago

看了下文档 ChatGLM3-6b lora微调指南 模型推理部分很简单，能不能给个完整的py文件？

如果是基于xtune的微调训练，又该如何做推理？因为目前提供的推理文件，都是标识了模型类型，譬如 image

aJupyter commented 5 months ago

可以的 但是其实文档已经写的比较清楚了

xtuner训练的模型可以考虑这个进行推理 https://github.com/SmartFlowAI/EmoLLM/blob/main/deploy/lmdeploy.md