-
请问下Xinference module engine如何选择
里面包括llama.cop Transformers以及vLLM等多个引擎,oneapi或fastgpt支持哪种引擎。
我实在是崩溃了,xinferemce费老劲下载了n个模型,结果只有一个好用,其他所有模型oneapi报错无可用渠道。
请问应该参照什么标准到xinference里下载模型
![mmexpor…
-
![image](https://github.com/user-attachments/assets/1421499e-1295-4f53-a87c-f5fb0a83c947)
qwen2:7b是用ollama运行,但是fastgpt中开启工具调用获取网页内容,好像不生效
-
**例行检查**
[//]: # (方框内删除已有的空格,填 x 号)
+ [x] 我已确认目前没有类似 issue
+ [x] 我已确认我已升级到最新版本
+ [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
+ [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
+ [x] 我理解并认可上述内容,并理解项目维护者精力有限,**不遵循规则的 issue…
Mgrsc updated
2 months ago
-
问题1:
whisper本地安装对接oneapi和fastgpt,运行正常。
根据docker安装的文档,在docke启动运行时可以指定是CPU还是GPU模式运行,请问非docker模式下,如何设置设置CPU或GPU模式。
问题2:
本地安装的whisper,怎么更改ACCESS_TOKEN
问题3:
docker环境下,whisper的ACCESS_TOKEN怎么更改,我在d…
-
本地4.8.5
本地已经部署了whisper容器,并且在ONEAPI中增加了渠道,渠道测试404是否正常?
本地通过curl测试oneapi对接whisper可以输出,但是渠道测试404错误
![image](https://github.com/user-attachments/assets/7980ce9c-65d6-4d73-a248-4e3c913c69a7)
另外,为…
-
、
![image](https://github.com/user-attachments/assets/7dbcfc6a-393b-47e4-9e0b-0fbf4fb083c1)
-
Thank you so much for writing this. We are now working on compiling it with LFortran, this is a great example.
Regarding performance on my Apple M1 Max with GFortran 11.3.0, I get about 240 tokens/…
-
请问fastgpt有没有考虑集成test2sql
-
### 前置确认
- [X] 我确认我运行的是最新版本的代码,并且安装了所需的依赖,在[FAQS](https://github.com/zhayujie/chatgpt-on-wechat/wiki/FAQs)中也未找到类似问题。
### ⚠️ 搜索issues中是否已存在类似问题
- [X] 我已经搜索过issues和disscussions,没有跟我遇到的问题相关的issue
###…
-
**例行检查**
[//]: # '方框内填 x 表示打钩'
- [ ] 我已确认目前没有类似 issue
- [ ] 我已完整查看过项目 README,以及[项目文档](https://doc.fastgpt.in/docs/intro/)
- [ ] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [ ] 我理解并愿意跟进此 issue,协助测试和提供反馈
…