Open Woiea opened 1 week ago
在.env文件加入下面参数可以排除这个内存溢出错误: CONTEXT_LEN=100000 该参数取值小于最大允许取值即可(115648)
多进程处理错误可以试试加上 DISTRIBUTED_EXECUTOR_BACKEND=ray
多进程处理错误可以试试加上 DISTRIBUTED_EXECUTOR_BACKEND=ray
加上这个参数后,仍然报下面错:
而且之前报这个错后程序卡停,添加DISTRIBUTED_EXECUTOR_BACKEND=ray这个参数后程序报错自动拉起,报错后重新启动
我之前也遇到过这个错误,你的代码是最新的吗,在环境变量里面加上
就没有出现上面的问题了
我之前也遇到过这个错误,你的代码是最新的吗,在环境变量里面加上
就没有出现上面的问题了
谢谢!方法有效!目前问题已解决
提交前必须检查以下项目 | The following items must be checked before submission
问题类型 | Type of problem
模型推理和部署 | Model inference and deployment
操作系统 | Operating system
Linux
详细描述问题 | Detailed description of the problem
运行时报错GPU内存溢出或者模型长度过长,提示扩大GPU_MEMORY_UTILIZATION或者减小max_model_len。 另外采取docker部署时遇到了多进程处理错误。
Dependencies
运行日志或截图 | Runtime logs or screenshots
api-for-open-llm部署时报错:![image](https://github.com/xusenlinzy/api-for-open-llm/assets/118100129/c804d3d8-c839-495b-b761-f4c77cf33eb1)
docker部署时报错:![image](https://github.com/xusenlinzy/api-for-open-llm/assets/118100129/bb6e4b9b-7593-4229-8366-89d0c371f1ed)