search

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
MIT License
2.92k stars 333 forks source link

如何控制API服务的线程数量 #180

Closed charSLee013 closed 10 months ago

charSLee013 commented 11 months ago

问题描述

我尝试使用 num_threads=16 uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000 启动 OpenAI 服务 并通过设置环境变量来控制线程数量，但无论我如何设置环境变量 num_threads，线程数量似乎都没有变化。

我注意到 openai_api.py 是有设置到获取 num_threads的环境变量的

我该如何正确设置线程数或者有其他解决方法？

StrayDragon commented 10 months ago 
NUM_THREADS=16 uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

得用大写才行 https://docs.pydantic.dev/1.10/usage/settings/#parsing-environment-variable-values