search

TarsLab / obsidian-tars

Obsidian plugin that supports text generation based on tag suggestions, using services like Claude, OpenAI, Ollama, Kimi, Doubao, Qwen, Zhipu, DeepSeek, QianFan & more. 插件基于标签建议进行文本生成，支持 Claude、OpenAI、Ollama、Kimi、豆包、阿里千问、智谱、深度求索、百度千帆等
MIT License
46 stars 5 forks source link

希望大神可以添加OpenAI兼容格式的第三方API结构选项 #21

Open blackcat1402 opened 1 month ago

blackcat1402 commented 1 month ago

Hi， 大神您好， 非常喜欢Tars的这种创新的模式，希望能够支持OpenAI API兼容的第三方API接口格式，这个在Obsidian Copilot中已经已经支持，因为很多第三方的API都是兼容的OpenAI的API，这样就可以接入一大波主流的LLM。

ae86jack commented 1 month ago

谢谢你的建议，已经加入开放计划

blackcat1402 commented 1 month ago

非常期待！

kawnnor commented 1 month ago

我没看明白这个问题！现在不是已经支持兼容 OpenAI API 的第三方接口了吗？

我配置了 tokenfree.ai 的 Llama 3.1 405B:

image

https://github.com/user-attachments/assets/e8728e39-e0df-48e3-a2eb-c8e449afa6d2

royalff commented 4 weeks ago

我没看明白这个问题！现在不是已经支持兼容 OpenAI API 的第三方接口了吗？

我配置了 tokenfree.ai 的 Llama 3.1 405B:

图像

2024-09-22.142206.mp4

建议是增加可以自定义名字上去，现在会重合，例如我设置了两个本地部署的ollama模型，一个是llama3.1，一个是llava，结果会把我两个的模型合并在一起了，本来是可以便于一边图片解析的，一边可以输入文本，但是如果同一个ollama的话，会把config合并在一个里面。无法分开调用。

ae86jack commented 4 weeks ago

@royalff 目前就是可以自定义名字的啊

ae86jack commented 4 weeks ago
Screenshot 2024-10-11 at 20 00 58
royalff commented 4 weeks ago

@royalff 目前就是可以自定义名字的啊

tag的名字是可以的，但是模型的名字不能自定义，当我设置几个同样模型的时候，里面的api以及输入参数会全部重合。例如我有三个ollama的模型，一个是llama3.1，一个是llava，另外一个是采用阿里云的llama3的405B，最后3个都会变成一样的输入参数。我是macos15.0系统版本， obsidian也是最新的版本，Tars的版本是0.6.1。 Xnip2024-10-11_20-10-43 Xnip2024-10-11_20-11-16

ae86jack commented 4 weeks ago

ollama 我用的比较少，你试试覆盖输入参数 {"model": "llava"} 或者不同的端口号

ae86jack commented 4 weeks ago

或者直接clone代码 看看， ollama 这块代码就二十多行

kawnnor commented 4 weeks ago

@royalff 是要修改红圈中的名字吗？

image
royalff commented 3 weeks ago

@royalff 是要修改红圈中的名字吗？ image

是的，现在如果同一个平台下有多种模型的话，看起来会很蒙的，假设qwen里面有文生文，文生图，图生文，几个加在一起，很不辨别，另外我尝试使用几个ollama的不同模型，会把我里面的参数全部变成一样的。如图， Xnip2024-10-14_17-57-24

royalff commented 3 weeks ago

或者直接clone代码 看看， ollama 这块代码就二十多行

好的👌

blackcat1402 commented 5 days ago

您好，OPENAI模型设置栏需要可以手动输入模型名称来支持第三方API，覆盖不起作用。我用DeepInfra的API总是测试不通过报400

ae86jack commented 5 days ago

您好，OPENAI模型设置栏需要可以手动输入模型名称来支持第三方API，覆盖不起作用。我用DeepInfra的API总是测试不通过报400

我看了下DeepInfra的API，它不是OpenAI API兼容协议的。可以试下用 openAI 的 sdk 去调用试试