fatwang2 / search2ai

Help your LLMs online
https://sum4all.site/telegram
MIT License
1.05k stars 158 forks source link

增加searXNG支持 #19

Closed utopeadia closed 6 months ago

utopeadia commented 6 months ago

在search2groq.js/search2openai.js/search2gemini.js、units/news.js/units/search.js增加searXNG支持。 我Json水平相当有限,可能存在错漏,核心代码为: 搜索代码

case "searXNG":
          const searXNGUrl = `${SEARXNG_BASE_URL}/search?q=${encodeURIComponent(
            query
        )}&category=general&format=json`;
        const searXNGResponse = await fetch(searXNGUrl);
          const searXNGData = await searXNGResponse.json();
          results = searXNGData.results.slice(0, MAX_RESULTS).map((item) => ({
            title: item.title,
            link: item.url,
            snippet: item.content
          }));
          break;

新闻代码

case "searXNG":
          const searXNGUrl = `${SEARXNG_BASE_URL}/search?q=${encodeURIComponent(
            query
        )}&category=news&format=json`;
        const searXNGResponse = await fetch(searXNGUrl);
          const searXNGData = await searXNGResponse.json();
          results = searXNGData.results.slice(0, MAX_RESULTS).map((item) => ({
            title: item.title,
            link: item.url,
            snippet: item.content
          }));
          break;
vercel[bot] commented 6 months ago

Someone is attempting to deploy a commit to the fatwang2's projects Team on Vercel.

A member of the Team first needs to authorize it.

fatwang2 commented 6 months ago

你自测是 OK 的吗

utopeadia commented 6 months ago

你自测是 OK 的吗

我单独测试了获取搜索后json,这部分是正常的,但是因为我缺少api调试环境,所以没有对调用做测试

fatwang2 commented 6 months ago

你自测了 SearXNG 的输入输出,但是没有测在 search2ai 里能不能用,是吧?

HowieWu @.***>于2024年4月25日 周四11:21写道:

你自测是 OK 的吗

我单独测试了获取搜索后json,这部分是正常的,但是因为我缺少api调试环境,所以没有对调用做测试

— Reply to this email directly, view it on GitHub https://github.com/fatwang2/search2ai/pull/19#issuecomment-2076279540, or unsubscribe https://github.com/notifications/unsubscribe-auth/A77NZSQ3XFJ4RKW4VCWO5WDY7BZE3AVCNFSM6AAAAABGX7DSGCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZWGI3TSNJUGA . You are receiving this because you commented.Message ID: @.***>

utopeadia commented 6 months ago

你自测了 SearXNG 的输入输出,但是没有测在 search2ai 里能不能用,是吧? HowieWu @.>于2024年4月25日 周四11:21写道: 你自测是 OK 的吗 我单独测试了获取搜索后json,这部分是正常的,但是因为我缺少api调试环境,所以没有对调用做测试 — Reply to this email directly, view it on GitHub <#19 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/A77NZSQ3XFJ4RKW4VCWO5WDY7BZE3AVCNFSM6AAAAABGX7DSGCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZWGI3TSNJUGA . You are receiving this because you commented.Message ID: @.>

对的 我还在尝试部署调用oneapi聚合的gemini和openai APi 现在的部署会始终直接返回流, image

fatwang2 commented 6 months ago

你需要单独定义授权码的时候才需要像你现在这样配置,不然只需要配置搜索相关的变量就行

utopeadia commented 6 months ago

你需要单独定义授权码的时候才需要像你现在这样配置,不然只需要配置搜索相关的变量就行

您的意思是只需要保留这四项就可以了对吧

image
utopeadia commented 6 months ago

你需要单独定义授权码的时候才需要像你现在这样配置,不然只需要配置搜索相关的变量就行

我尝试构建了一下,还是不太行

image image
fatwang2 commented 6 months ago

你换其他搜索服务也不行吗

utopeadia commented 6 months ago

你换其他搜索服务也不行吗

下午我在研究研究

utopeadia commented 6 months ago

你换其他搜索服务也不行吗

我看了一下可能与oneapi的function bug有关,这部分得等oneapi修复(已经合并了),另外我单独测试了gemini,会直接提示{"error":"Failed to fetch after 3 attempts"}%

截屏2024-04-25 13 16 48
fatwang2 commented 6 months ago

为啥会涉及 oneapi的function bug?你现在是怎么用的

HowieWu @.***>于2024年4月25日 周四13:16写道:

你换其他搜索服务也不行吗

我看了一下可能与oneapi的function bug有关,这部分得等oneapi修复(已经合并了),另外我单独测试了gemini,会直接提示{"error":"Failed to fetch after 3 attempts"}%

— Reply to this email directly, view it on GitHub https://github.com/fatwang2/search2ai/pull/19#issuecomment-2076375368, or unsubscribe https://github.com/notifications/unsubscribe-auth/A77NZSTIGCJDP3IT6NRTWATY7CGUFAVCNFSM6AAAAABGX7DSGCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZWGM3TKMZWHA . You are receiving this because you commented.Message ID: @.***>

utopeadia commented 6 months ago

为啥会涉及 oneapi的function bug?你现在是怎么用的 HowieWu @.>于2024年4月25日 周四13:16写道: 你换其他搜索服务也不行吗 我看了一下可能与oneapi的function bug有关,这部分得等oneapi修复(已经合并了),另外我单独测试了gemini,会直接提示{"error":"Failed to fetch after 3 attempts"}% — Reply to this email directly, view it on GitHub <#19 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/A77NZSTIGCJDP3IT6NRTWATY7CGUFAVCNFSM6AAAAABGX7DSGCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZWGM3TKMZWHA . You are receiving this because you commented.Message ID: @.>

后端接的是one api使用oneapi管理接口,然后调用oneapi进行使用

fatwang2 commented 6 months ago

通过 search2ai 部署后,配置到 oneapi 里,可以用的

utopeadia commented 6 months ago

通过 search2ai 部署后,配置到 oneapi 里,可以用的

我正在研究把oneapi作为后端,把search2ai作为前端调用的方式,先关闭pr研究研究

fatwang2 commented 6 months ago

openai配置到oneapi里,再通过search2ai赋予联网能力,也是OK的,只是oneapi没有对function calling做很多兼容,这种方式通常只支持完全跟OpenAI格式一样的大模型

fatwang2 commented 6 months ago

另外我试了下你的searxng的代码,运行没问题,我先更新了哈

utopeadia commented 6 months ago

另外我试了下你的searxng的代码,运行没问题,我先更新了哈

okkk

utopeadia commented 6 months ago

另外我试了下你的searxng的代码,运行没问题,我先更新了哈

我把pr reopen一下吧

fatwang2 commented 6 months ago

感谢PR,我把搜索服务调整为了searxng,保持跟其他格式一致,请问你有twitter吗,我稍后发推感谢下

utopeadia commented 6 months ago

感谢PR,我把搜索服务调整为了searxng,保持跟其他格式一致,请问你有twitter吗,我稍后发推感谢下

也是在学习,刚好深入了下js,有的 Twitter是 @fsm_top