-
### System Info / 系統信息
windows docker启动xinference: docker run -e XINFERENCE_MODEL_SRC=modelscope -v D:/Pretrainedmodels3/ZhipuAI:/root -v D:/Pretrainedmodels3/ZhipuAI/.cache/huggingface:/root/.cac…
-
## System details:
#### Positron and OS details:
Positron Version: 2024.09.0 (Universal) build 1
Code - OSS Version: 1.92.0
Commit: f37f4f5044a2a619e73d5db61a31e37fbd3faf18
Date: 2024-09-03T0…
-
mlc-ai-nightly-cu122 0.15.dev404
mlc-llm-nightly-cu122 0.1.dev1355
transformers 4.41.2
git clone https://huggingface.co/THUDM/glm-4-9b-chat
mlc_llm convert_we…
-
### System Info / 系統信息
无
### Who can help? / 谁可以帮助到您?
@zRzRzRzRzRzRzR
@z
### Information / 问题信息
- [X] The official example scripts / 官方的示例脚本
- [X] My own modified scripts / 我自己修改的脚本和任务
### Rep…
-
服务可以起来但是调用就报错。
-
**问题描述 / Problem Description**
用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
**复现问题的步骤 / Steps to Reproduce**
1. 执行 '...' / Run '...'
2. 点击 '...' / Click '...'
3. 滚动到 '..…
-
**问题描述 / Problem Description**
知识库回答没有内容,但是有匹配结果
![企业微信截图_17261280818401](https://github.com/user-attachments/assets/21288548-8566-44ba-a94d-254f06f9c5f8)
![企业微信截图_17261281058838](https://github.co…
-
### System Info / 系統信息
cuda: 12.2(安装的pytorch是cuda-12.1的)
transformers:4.44.0
python:3.10
OS:kylinV10
显卡是:NVIDIA A100-SXM4-40GB(隔壁有问是不是这个问题,所以一并列出:https://github.com/QwenLM/Qwen2-VL/issues/44 )
…
-
### Reminder
- [X] I have read the README and searched the existing issues.
### System Info
[2024-06-07 10:17:14,980] [INFO] [real_accelerator.py:191:get_accelerator] Setting ds_accelerator t…
-
### Feature request / 功能建议
basic demo中支持Longite-glm4-9b的加载和推理。
### Motivation / 动机
现在能跑起来,但chat的时候不正常:没法返回结果。
request:
```
{
"model": "glm-4",
"stream": true,
"…