search

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
17.85k stars 4.04k forks source link

能不能镜像地址和监听支持unix socket？ #327

Closed daiaji closed 1 year ago

daiaji commented 1 year ago

例行检查

功能描述 https://caddy.community/t/caddy2-listen-on-unix-socket/7147 应用场景 unix socket性能会好点 而且HTTP服务器应该蛮多都支持。

因为某些代理的响应头不标准，所以我有时候需要在本地用反代先处理响应头。 这时候监听端口就显得有点没必要了 只工作在本机的unix socket就很合适 one-api监听也是同理。 因为基本都是有个前置的HTTP服务器，监听端口就不太必要。 监听unix socket更适合这个场景。 特别是用容器。

songquanpeng commented 1 year ago

这个要求是同一台机器，并且双方都要支持

---Original--- From: @.> Sent at: 2023年7月25日(Tue) Evening11:55 To: @.>; Cc: @.***>; Subject: [songquanpeng/one-api] 能不能镜像地址和监听支持unix socket？ (Issue #327)

例行检查

我已确认目前没有类似 issue

我已确认我已升级到最新版本

我已完整查看过项目 README，已确定现有版本无法满足需求

我理解并愿意跟进此 issue，协助测试和提供反馈

我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述 https://caddy.community/t/caddy2-listen-on-unix-socket/7147 应用场景 unix socket性能会好点 而且HTTP服务器应该蛮多都支持。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

daiaji commented 1 year ago

对，就是同一台机子，如你所见，CADDY支持。 监听和反代都行。

songquanpeng commented 1 year ago

本机反代这里根本不是瓶颈哈，你连接远程服务器肯定要走普通的socket

daiaji commented 1 year ago

本机反代这里根本不是瓶颈哈，你连接远程服务器肯定要走普通的socket

虽然说比较少见

:2000 {
        @event-stream header Accept text/event-stream
        handle @event-stream {
                reverse_proxy 54.1.1.1:8888 {
                        header_down +Content-Type text/event-stream
                }
        }
        handle {
                reverse_proxy 54.1.1.1:8888 {
                        header_down Content-Type application/json
                }
        }
}

有些代理，必须你在反代程序上先处理他不规范的响应头，才能用。 这时候我只需要连接unix socket而不用连接到远程。