-
### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?
- [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
### 该问题是否在FAQ中有解答？ | Is there an existing ans…
-
### Your current environment
The output of `python collect_env.py`
```text
PyTorch version: 2.4.0+cu121
Is debug build: False
CUDA used to build PyTorch: 12.1
ROCM used to build PyTorch: N/A…
-
经过多次测试，我希望得到图片的tag（从tag list中选择），在web端我提问结果就比较正常，类似下面的回答：
但是使用API python提问的结果就非常奇怪：
1. 直接将我的标签列表全部…
-
### Describe your problem
-
Libraries
- CUDA: 12.2.140
- CUDNN: 8.9.4.25
- TensorRT: 8.6.2.3
- VPI: 3.1.5
- Vulkan: 1.3.204
- OpencV: 4.8.0
- with CUDA: NO
- Jetpack: 6.0
Models that cannot be loaded:
- Qwen/Qwen2-*…
-
例如用基本相同的流程（相关基准测试、谁是卧底这种文本游戏或其它真实用例）测试不同项目的表现。虽然对此框架的知识图谱驱动比较感兴趣，但不知上手难度如何、具体表现如何、是否值得迁移现有工作流。看到相关文章说相比dify固定僵化的任务流更有泛化能力，能进行复杂推理，但具体提升有多少呢？dify集成了大量模型供应商、工具和封装API等等实用功能，优势非常突出，如果muAgent仅仅模糊地说泛化推理更强很难…
-
### Validations
- [X] I believe this is a way to improve. I'll try to join the [Continue Discord](https://discord.gg/NWtdYexhMs) for questions
- [X] I'm not able to find an [open issue](https://githu…
-
### System Info / 系統信息
v0.15.0
### Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？
- [ ] docker / docker
- [X] pip install / 通过 pip install 安装
- [ ] installation from source / 从源码安装
#…
-
https://brandolosaria.medium.com/setting-up-metaais-code-llama-34b-instruct-model-fc009aa937f6
https://github.com/go-skynet/LocalAI
-
我开发了一个中间件，为兼容OpenAI API的Qwen模型服务实现了ReAct工具调用功能。 https://github.com/zhanghx0905/qwen-tools-openai-server 这个中间件能使开发人员能够轻松将 Qwen 的 tool calls 功能集成到上层应用中，克服 vLLM 和 sglang 等现有推理引擎API 的局限。