search

ultrasev / llmproxy

一个基于 cloudflare worker 的 LLM API 反向代理，支持 OpenAI, Gemini, Groq 等平台。接口兼容 OpenAI API 规范，可以直接使用 OpenAI SDK 调用。
https://llmproxy-xi.vercel.app
64 stars 19 forks source link

已经Star！顺便问一下如何设置Gemini的temperature #9

Open Tiger2Wings opened 3 weeks ago

Tiger2Wings commented 3 weeks ago

通过Gemini的API_KEY，测试了使用OpenAI库可以获得回复text 但是，如果我想设置Gemini大模型的temperature，该如何修改代码？ 比如说，采用requests库？ 谢谢。 据我所测试，Gemini 1.0可以用requests库，其输入json格式如下（可惜改成了1.5，之前代码失效了） data = \ { "contents": [ { "parts": [ { "text": prompt } ] } ], "generationConfig": { "temperature": temperature, "topK": 1, "topP": 1, "maxOutputTokens": 8192, "stopSequences": [] } }

ultrasev commented 3 weeks ago

您是自己部署的服务， 还是直接调用的 llmapi.ultrasev.com ? 如果自己部署服务，需要改一下js代码，把温度等参数解析出来，再转发给 Google Gemini image

ultrasev commented 3 weeks ago

等我有时间，补充一下，支持温度等参数，你常用的还有哪些参数？除了温度

Tiger2Wings commented 3 weeks ago

等我有时间，补充一下，支持温度等参数，你常用的还有哪些参数？除了温度

谢谢！

我直接调用 llmapi.ultrasev.com，自己今天部署的cloudflare刚刚添加domain，调用时显示握手失败:( httpx.ConnectError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:1131)

这个里面有很多参数，包括temperature、response_format等都需要的 https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/call-gemini-using-openai-library#python

ultrasev commented 3 weeks ago

等我有时间，补充一下，支持温度等参数，你常用的还有哪些参数？除了温度

谢谢！

我直接调用 llmapi.ultrasev.com，自己今天部署的cloudflare刚刚添加domain，调用时显示握手失败:( httpx.ConnectError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:1131)

这个里面有很多参数，包括temperature、response_format等都需要的 https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/call-gemini-using-openai-library#python

已更新，现在 Gemini 支持 topK, topP, temperature, maxOutputTokens 参数，示例见文档中例子

上面你说的其他参数，比如 response_format 暂时不是很好实现，因为我用的是基于 REST API 的调用方法 ， 支持的参数有限。

ultrasev commented 3 weeks ago

httpx.ConnectError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failur

还有你说的这个问题，可以先换个机器测试一下，确定不是本机网络或者系统的问题。 如果换个机器还有，你可以共享一下你的worker endpoint，我测一下。