search

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.44k stars 4.69k forks source link

fastgpt中支持所有与大模型对接时的提示词日志，且支持自定义，以及添加system类型的消息 #1036

Open jonathan714 opened 7 months ago

jonathan714 commented 7 months ago

例行检查

功能描述 fastgpt中支持所有与大模型对接时的提示词日志，且支持自定义，以及添加system类型的消息 应用场景 有些场景中，需要优化提示词，看到不fastgpt已经封装了的部分 相关示例

bluryar commented 4 months ago

同需求, 有些模型微调的时候会设定一个固定的system prompt, 作为一种约定的能力激发的前缀, Fastgpt 将提示词传参封装后只剩下一个简单的user role的prompt做提示词工程时不是很方便.

看了一下代码, 这里似乎暗示工作流里边的"提示词"就是system prompt. 但我更希望可以手动的添加user和assistant类型的消息做提示词工程.

实际上, 我认为如果提示词可以被完全的编辑, 搭配其他工作流和代码沙箱等功能, 一些以前通过python脚本编写的提示词工程的代码就可以可视化的编辑了.

另外, dify 的自定义提示词模板的设计就挺好的: https://docs.dify.ai/v/zh-hans/learn-more/extended-reading/prompt-engineering/prompt-engineering-1#id-3.-she-zhi-ting-zhi-xu-lie-stopsequences