Closed syusama closed 3 months ago
要使用embedding的话,环境变量需要修改TASKS=llm,rag
,其中llm是指启动大模型,rag是指启动embedding、rerank等rag相关的模型
要使用embedding的话,环境变量需要修改
TASKS=llm,rag
,其中llm是指启动大模型,rag是指启动embedding、rerank等rag相关的模型 原来是这样,在环境变量中加入TASKS=llm,rag后顺利启动embedding模型,接口也不报错了,感谢大大!
提交前必须检查以下项目 | The following items must be checked before submission
问题类型 | Type of problem
模型推理和部署 | Model inference and deployment
操作系统 | Operating system
Linux
详细描述问题 | Detailed description of the problem
通过docker命令启动,
服务成功启动,对话也没有问题,但是调用embedding接口会报错 (docker compose 和.env均已配置好本地embedding模型,之前可以成功运行)
dockers-compose文件
.env文件
Dependencies
No response
运行日志或截图 | Runtime logs or screenshots