search

answerlink / IntelliQ

Advanced Multi-Turn QA System with LLM and Intent Recognition. 基于LLM大语言模型意图识别、参数抽取结合slot词槽技术实现多轮问答、NL2API. 打造Function Call多轮问答最佳实践
Apache License 2.0
446 stars 57 forks source link

本地的qwen-72b怎么接入 #7

Open nilin1998 opened 6 months ago

nilin1998 commented 6 months ago

想连接部署载本地的Qwen-72b，按以下修改： image 会报以下错误： image

yang605222 commented 6 months ago

同问

tommy-zhou commented 1 month ago

可以用OPNEAI的标准接口方式接入就行了！ 有两个方案如下： 【运行演示-大模型多轮对话开源应用IntelliQ分享】 https://b23.tv/XXdZzdN 【运行演示-OpenAI接口管理与分发开源应用OneAPI分享】 https://b23.tv/qVIZT2b