search

ultrasev / llmproxy

一个基于 cloudflare worker 的 LLM API 反向代理，支持 OpenAI, Gemini, Groq 等平台。接口兼容 OpenAI API 规范，可以直接使用 OpenAI SDK 调用。
https://llmproxy-xi.vercel.app
70 stars 21 forks source link

oneapi和lobechat怎么配反代 #6

Open samqin123 opened 1 month ago

samqin123 commented 1 month ago

我按照部署教程部署了自己域名的反代，按照readme，把BASE_URL = "https://llmapi.ultrasev.com/v2/gemini" 里面的值填写到oneapi的代理里，运行报错code500 ![Uploading iShot_2024-05-30_17.00.37.png…]()

ultrasev commented 1 month ago

@samqin123 看不到图。

samqin123 commented 1 month ago
iShot_2024-05-30_17 00 37 iShot_2024-05-30_17 15 07
ultrasev commented 1 month ago

你用的什么模型？目前只支持文本生成的，比如 gemini 1.0 pro, gemini 1.5，其他的，如图像，向量没有考虑进去。

我这边测试可以的啊。 @samqin123

image image
ultrasev commented 1 month ago

iShot_2024-05-30_17 00 37 iShot_2024-05-30_17 15 07

这里的代理是什么意思？是 base url ?

ultrasev commented 1 month ago

https://github.com/ultrasev/llmproxy/blob/master/tests/test_cf_worker_v2.py 这个测试脚本，本地能跑通的吧。

ultrasev commented 1 month ago

iShot_2024-05-30_17 00 37 iShot_2024-05-30_17 15 07

这里的代理是什么意思？是 base url ?

我知道原因了，我这个项目是兼容 OpenAI 的 API，不是单纯的代理， 你这里要用 OpenAI 的类型。

image image
ultrasev commented 1 month ago

@samqin123

samqin123 commented 1 month ago

oneapi通了，但是lobechat走这个代理不不通

ultrasev commented 1 month ago

oneapi通了，但是lobechat走这个代理不不通

都是兼容OpenAI 的格式。 看看Lobechat上设置是不是不一致。

samqin123 commented 1 month ago
iShot_2024-06-01_10 50 52 iShot_2024-06-01_10 51 03

看下oneapi的日志。groq虽然通，但是只能是排在第一位的模型，而且配置到lobechat里，就不行了。估计您的转发jscode还要适配下改改。期待。

samqin123 commented 1 month ago

第一张图后面出现relay error，就是我从lobechat中发起对话的记录了。