[BUG] RAG知识库对话，一直没有回应，只调用了 embedding 模型，完全没有调用llama3.1

[ComposerLM]

model_settinhd.yaml 文件

模型配置项

默认选用的 LLM 名称

DEFAULT_LLM_MODEL: llama3.1:8b

默认选用的 Embedding 名称

DEFAULT_EMBEDDING_MODEL: bge-m3:latest

AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL)

Agent_MODEL: ''

默认历史对话轮数

HISTORY_LEN: 3

大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度

MAX_TOKENS:

LLM通用对话参数

TEMPERATURE: 0.7

支持的Agent模型

SUPPORT_AGENT_MODELS:

• chatglm3-6b
• glm-4
• openai-api
• Qwen-2
• qwen2-instruct
• gpt-3.5-turbo
• gpt-4o

LLM模型配置，包括了不同模态初始化参数。

model 如果留空则自动使用 DEFAULT_LLM_MODEL

LLM_MODEL_CONFIG: preprocess_model: model: '' temperature: 0.05 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: false llm_model: model: '' temperature: 0.9 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true action_model: model: '' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: ChatGLM3 callbacks: true postprocess_model: model: '' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true image_model: model: sd-turbo size: 256*256

模型加载平台配置

平台名称

platform_name: ollama

平台类型

可选值：['xinference', 'ollama', 'oneapi', 'fastchat', 'openai', 'custom openai']

platform_type: xinference

openai api url

api_base_url: http://0.0.0.0:9997/v1

api key if available

api_key: EMPTY

API 代理

api_proxy: ''

该平台单模型最大并发数

api_concurrencies: 5

是否自动获取平台可用模型列表。设为 True 时下方不同模型类型可自动检测

auto_detect_model: false

该平台支持的大语言模型列表，auto_detect_model 设为 True 时自动检测

llm_models: []

该平台支持的嵌入模型列表，auto_detect_model 设为 True 时自动检测

embed_models: []

该平台支持的图像生成模型列表，auto_detect_model 设为 True 时自动检测

text2image_models: []

该平台支持的多模态模型列表，auto_detect_model 设为 True 时自动检测

image2text_models: []

该平台支持的重排模型列表，auto_detect_model 设为 True 时自动检测

rerank_models: []

该平台支持的 STT 模型列表，auto_detect_model 设为 True 时自动检测

speech2text_models: []

该平台支持的 TTS 模型列表，auto_detect_model 设为 True 时自动检测

text2speech_models: []

MODEL_PLATFORMS:

- platform_name: xinference

platform_type: xinference

api_base_url: http://127.0.0.1:9997/v1

api_key: EMPTY

api_proxy: ''

api_concurrencies: 5

auto_detect_model: true

llm_models: []

embed_models: []

text2image_models: []

image2text_models: []

rerank_models: []

speech2text_models: []

text2speech_models: []

• platform_name: ollama platform_type: ollama api_base_url: http://127.0.0.1:11434/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • llama3.1:8b embed_models:
  • bge-m3:latest text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []

    - platform_name: oneapi

    platform_type: oneapi

    api_base_url: http://127.0.0.1:3000/v1

    api_key: sk-

    api_proxy: ''

    api_concurrencies: 5

    auto_detect_model: false

    llm_models:

    - chatglm_pro

    - chatglm_turbo

    - chatglm_std

    - chatglm_lite

    - qwen-turbo

    - qwen-plus

    - qwen-max

    - qwen-max-longcontext

    - ERNIE-Bot

    - ERNIE-Bot-turbo

    - ERNIE-Bot-4

    - SparkDesk

    embed_models:

    - text-embedding-v1

    - Embedding-V1

    text2image_models: []

    image2text_models: []

    rerank_models: []

    speech2text_models: []

    text2speech_models: []

    - platform_name: openai

    platform_type: openai

    api_base_url: https://api.openai.com/v1

    api_key: sk-proj-

    api_proxy: ''

    api_concurrencies: 5

    auto_detect_model: false

    llm_models:

    - gpt-4o

    - gpt-3.5-turbo

    embed_models:

    - text-embedding-3-small

    - text-embedding-3-large

    text2image_models: []

    image2text_models: []

    rerank_models: []

    speech2text_models: []

    text2speech_models: []

[shenlei162]

platform_type和name要一致吧