使用vllm离线运行本地大模型，建立one-api渠道，显示测试无法接通。

[lk1983823]

例行检查

• [ ] 我已确认目前没有类似 issue
• [ ] 我已确认我已升级到最新版本
• [ ] 我已完整查看过项目 README，尤其是常见问题部分
• [ ] 我理解并愿意跟进此 issue，协助测试和提供反馈
• [ ] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述 我使用以下命令，在不连接互联网的情况，本机运行了一个Qwen本地大模型:

python -m vllm.entrypoints.openai.api_server  \
    --host 127.0.0.2 \
    --port 8000 \
    --model /home/lk/.cache/modelscope/hub/qwen/Qwen-1_8B-Chat  \
    --block-size=8  \
    --swap-space=8  \
    --tensor-parallel-size 2   \
    --gpu-memory-utilization 0.5  \
    --trust-remote-code

模型成功运行，并显示如下结果:

然后，我使用docker运行one-api, 命令如下:

docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

进入one-api页面后，添加自定义渠道如下:

测试不通过，如下:

请教如何解决该问题？ 相关截图 如果没有的话，请删除此节。

[QAbot-zh]

docker 的网络地址和宿主机的是分开的，docker 命令加上--network=host 再运行看看

[lk1983823]

@QAbot-zh 加上这个条件以后 13000端口就关闭了，

WARNING: Published ports are discarded when using host network mode
8b933112d16a28e0ba86a788931adbdb4c8fc40ea4302a823a78219f108ad2c8

我之前有这个参数， -p 13000:3000 这样，我都进不去页面， 无法配置渠道了，我原来都是通过 0.0.0.0：13000在one-api里配置渠道什么的。 如何保留这个13000:3000的映射呢？ 另外，我的127.0.0.1:3000 已经被一个fastgpt的进程占用了

[ccyyhh2024]

我遇到同样的问题，用postman和curl调用 http://127.0.0.1:8000/v1/chat/completions 都是可以的，后台显示有调用函数。在OneAPI上点击测试出现Do request failed post: "http://127.0.0.1:8000/v1/chat/completions": dial tcp 127.0.0.1:8000: connect: connection refused。后台显示根本没进入函数。

[Ercilan]

docker 访问宿主机 127.0.0.1：用 host.docker.internal 替换 120.0.0.1/localhost。