为什么/v1/chat/completions使用Transfer-Encoding: chunked

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

MIT License

19.6k stars 4.33k forks source link

fastgpt把/v1/chat/completions发给one-api ，one-api 再分发到下游open-ai compatible api server。

fastgpt的原始http request中是包含了Content-Length header，但是one-api就没有用这个header，使用了Transfer-Encoding: chunked。

而 text-generation-webui 的open-ai compatible api server的实现中/app/extensions/openai/script.py ，是要依赖这个Content-Length header。所以text-generation-webui收到/v1/chat/completions后会报错。

    def do_POST(self):
        debug_msg(self.requestline)
        debug_msg(self.headers)

        content_length = int(self.headers['Content-Length'])
        body = json.loads(self.rfile.read(content_length).decode('utf-8'))

请问下为什么one-api使用Transfer-Encoding: chunked？谢谢！

songquanpeng / one-api

为什么/v1/chat/completions使用Transfer-Encoding: chunked #528