labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.45k stars 4.69k forks source link

我在oneapi中配置m3e出现了问题,是中提示404 #1343

Closed wxc-learn closed 5 months ago

wxc-learn commented 5 months ago

例行检查

你的版本

wxc-learn commented 5 months ago

我是使用的mac m1 进行的搭建

nongmo677 commented 5 months ago

目前oneapi的测试按钮仅只支持聊天模型,不支持embedding模型 如果要测试embedding模型,建议请使用代码测试,或者使用别的软件手动发送请求进行测试

from openai import OpenAI

client = OpenAI(
    api_key="oneapi的令牌",
    base_url="oneapi的地址/v1/",  # 例如http://192.168.20.59:7891/v1/
)

# compute the embedding of the text
embedding = client.embeddings.create(
    input="你好",
    model="模型名称" # 注意,不是渠道名称
)
print(embedding)
lonrencn commented 5 months ago

换个镜像,推荐的镜像版本有问题,我换了一个,就好了

leoncool23 commented 5 months ago

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢

lonrencn commented 5 months ago

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

aiyouwoqudi commented 2 months ago

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

我用了这个镜像问题依然存在

lonrencn commented 2 months ago

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

我用了这个镜像问题依然存在

404 是正常的,就用官网给的地址,在fast中能用。

hamiduan commented 2 months ago

多谢分享已解决。

  1. 在Oneapi 申请令牌后,复制key到fastgpt docker-compose.yml 下CHAT_API_KEY=key
  2. 重启fastgpt oneapi(在fastgpt docker-compose.yml 目录下 docker compose down, docker compose up -d)
  3. *注意,令牌界面 「模型范围」不要填写,会限制embedding模型(未测试填写所有所用模型)
  4. 复制令牌的sk-key,在渠道所用的llm和embedding模型中粘贴。
  5. FastGpt 知识库测试可行。

注释:

  1. *Oneapi不支持测试Embedding,因为请求的是/completion接口,所以会报错response 404。
  2. 可通过curl --location --request POST 'http://<此处填Embedding模型IP:端口>/v1/embeddings' \ --header 'Authorization: Bearer <此处填你的令牌sk-key>' \ --header 'Content-Type: application/json' \ --data-raw '{ "model": "m3e", "input": ["laf是什么"] }'