-
**Describe the bug**
微调后模型输出结果天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于…
-
As title
-
Run vllm serving test on ARC with below issue:
NFO 07-04 19:10:08 async_llm_engine.py:152] Aborted request cmpl-e5fb5cad96e9402dabbbece3611ae22f-0.
INFO: 127.0.0.1:41772 - "POST /v1/completions …
-
比如 baichuan-7b-v1 目前是限时免费的
{
"models": [
"qwen-long",
"qwen-turbo",
"qwen-plus",
"qwen-max",
…
-
data: {"id":"cmpl-084a698261df468ab316b8cab135ed36","object":"chat.completion.chunk","created":3632591,"model":"Qwen1.5-7B-Chat","choices":[{"index":0,"delta":{"content":"。"},"finish_reason":null}]}
…
-
使用模型:qwen1.5 7b
运行命令:`python3 -m mlx_lm.lora --model models/Qwen1.5-7B-Chat --data data/ --train --iters 1000 --batch-size 8 --lora-layers 12`
疑问:这个是不是爆内存了,导致Qwen1.5-7B-Chat-Adapters没有输出到mod…
-
I didn't config TAVILY_API_KEY
```
export TAVILY_API_KEY=""
export INPUT_DIR="xxx/input/artifacts"
export GRAPHRAG_API_KEY=""
export GRAPHRAG_API_KEY_EMBEDDING=""
export GRAPHRAG_LLM_M…
-
【现象】
qwen1.5-14B-Chat模型在解码时报UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 1: unexpected end of data。
【描述】
模型输入是:假设f(x)=x,那么f(x)1到2的积分是多少。模型输出的tokenId包含11995、18137,这两个tokenId会…
-
### 🚀 The feature, motivation and pitch
we had trained a lot of lora with qwen-7b ,if vllm support qwen-7b not only qwen1.5 ,that will be better,thanks
### Alternatives
_No response_
### Additiona…
-
### System Info
env: NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 V100 16G*8
docker images: nvcr.io/nvidia/tritonserver:24.02-trtllm-python-py3
### …