-
I run this code
```python
from vllm import LLM, SamplingParams
llm = LLM(model="meta-llama/Llama-2-70b-chat-hf", tensor_parallel_size=4)
```
get errors:
```
(Worker pid=816915) [W socket.cpp:60…
-
### System Info
* Windows 11 Home (build 22621.2715)
* Python 3.12.0
* Clean virtual environment using Poetry with following dependencies:
```
python = "3.12.0"
langchain = "0.0.344"
spacy = …
-
版本 0.0.119
配置例如
```
resource "volcengine_redis_instance" "db_01" {
zone_ids = [local.zone]
instance_name = "db-01"
charge_type = "PrePaid"
auto_renew = true
sharded_clu…
-
**问题描述 / Problem Description**
根据Dockerfile构建的镜像以后，使用docker命令启动成功，访问正常。
docker执行命令如下：
`docker run -d --gpus all -v /home/chatglm3-6b:/Langchain-Chatchat/chatglm3-6b -p 8501:8501 registry.cn-hangzho…
-
**问题描述 / Problem Description**
1、选择"fangzhou-api"在线大模型报No module named 'volcengine'
2、windows下pip install volcengine失败
**复现问题的步骤 / Steps to Reproduce**
1. model_config.py配置fangzhou-api
2. 一键启动程…
-
I read the following website to use hertz with opentelemetry:
https://www.cloudwego.io/zh/docs/hertz/tutorials/observability/open-telemetry/
when I run the demo below in my local:
https://github.…
-
**问题描述 / Problem Description**
`docker run -v /home/ubuntu/custom_models/qwen-7b-chat:/Qwen/Qwen-7B-Chat -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7`
模型已经提前…
-
**问题描述 / Problem Description**
用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
==============================Langchain-Chatchat Configuration==============================
操作…
-
**问题描述 / Problem Description**
model_config.py中LLM_MODEL指定为LANGCHAIN_LLM_MODEL中定义的MODEL API，不本地启动模型，进入web页面报错变量index越界
是设计上要求本地必须启动一个MODEL_PATH.llm_model里的模型吗
**环境信息 / Environment Information**
…
-
import os
# 可以指定一个绝对路径，统一存放所有的Embedding和LLM模型。
# 每个模型可以是一个单独的目录，也可以是某个目录下的二级子目录。
# 如果模型目录名称和 MODEL_PATH 中的 key 或 value 相同，程序会自动检测加载，无需修改 MODEL_PATH 中的路径。
MODEL_ROOT_PATH = ""
# 选用的 Embedding …