search

Maplemx / Agently

[AI Agent Application Development Framework] - 🚀 Build AI agent native application in very few code 💬 Easy to interact with AI agent in code using structure data and chained-calls syntax 🧩 Enhance AI Agent using plugins instead of rebuild a whole new agent
http://agently.tech
Apache License 2.0
1.07k stars 122 forks source link

使用本地Xinference运行，current_model参数是什么？ #145

Open tankGe opened 2 months ago

tankGe commented 2 months ago

Agently.AgentFactory() .set_settings("current_model", "OAIClient") .set_settings("model.OAIClient.auth.api_key", "nothing") .set_settings("model.OAIClient.options", {"model": "my-llm"}) .set_settings("model.OAIClient.url", "http://127.0.0.1:9997/v1")

Maplemx commented 2 months ago

就是"OAIClient"，这个参数决定的是你用哪个模型插件进行模型请求

tankGe commented 2 months ago

就是"OAIClient"，这个参数决定的是你用哪个模型插件进行模型请求 是不是可以理解为这个参数两个参数值，一个OpenAI代表调用在线模型，一个OAIClient代表本地模型？

Maplemx commented 1 month ago

就是"OAIClient"，这个参数决定的是你用哪个模型插件进行模型请求 是不是可以理解为这个参数两个参数值，一个OpenAI代表调用在线模型，一个OAIClient代表本地模型？

不是，OAIClient是Agently框架为OpenAI-Like的模型提供的特殊的请求方案，兼容了一些常见的消息规范