-
问题描述 / Problem Description
我从容器外调用api接口，上传容器外的文件，调用结果是success，但实际文件并没有上传上去
换成别的文件格式也是一样
Respense Body
{
"code": 200,
"msg": "文件上传与向量化完成",
"data": {
"failed_files": {
"huod…
-
目前网上有很多服务商提供兼容OpenAI接口的大模型服务，可以免费使用各种开源LLM能力，包括Qwen2、GLM4、InternLM2.5等。
请问如何修改models文件才能对接使用这些开源LLM服务？
-
### System Info / 系統信息
cuda 12.1
### Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？
- [ ] docker / docker
- [X] pip install / 通过 pip install 安装
- [X] installation from source …
GXKIM updated
1 month ago
-
### Is there an existing issue for the same bug?
- [X] I have checked the existing issues.
### Branch name
main
### Commit ID
main
### Other environment information
_No response_
### Actual be…
-
### Reminder
- [X] I have read the README and searched the existing issues.
### System Info
- Platform: Linux-5.4.143.bsk.8-amd64-x86_64-with-glibc2.31
- Python version: 3.10.13
- PyTorch versi…
-
目前的环境是fastgpt4.8.5 配合oneapi0.6.7一起使用，本地docker环境。
现在的需求是：
1、oneapi上有两个文心一言的渠道（文心一言A、文心一言B）、两个通义千万的渠道（通义千万A、通义千万B），分别是A、B两个部门花钱自己购买的
2、fastgpt上创建的AI应用按照部门区分，如何使用每个部门的fastgpt应用分别调用他们自己购买的渠道。
3、由于fast…
-
示例中用的是dashscope的qwen-max模型，是否有开源的或者私有化qwen模型支持这个协议呢
-
### System Info
transformers version == 4.42.4 works
transformers version >= 4.43.0 all fails
### Who can help?
_No response_
### Information
- [ ] The official example scripts
- [ ] …
-
### Feature request
目前，paddlenlp 的大模型问答功能仅支持单轮问答。为了充分发挥大型语言模型的潜力，建议增强其对话功能，支持多轮对话、agent对话和工具对话。同时，当前的设计将命令行和业务组件混合在一起，建议明确命令行负责启动接口，代码负责实现业务组件，以提升代码的可维护性和扩展性。
当前实现:
python
复制代码
from paddlenlp…
-
### Reminder
- [X] I have read the README and searched the existing issues.
### System Info
lora微调了qwen2-72b-instruct，导出量化4位gptq，使用vllm单张卡启动成功，问答也ok，但是上下文长度太少
加了两张a100，启动报错如下
![image](https://git…