同一个流程编排对话，用通义千问可以提取文本，用百度和智谱的都获取不了，模型的config.json设置也一样

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17.45k stars 4.69k forks source link

同一个流程编排对话，用通义千问可以提取文本，用百度和智谱的都获取不了，模型的config.json设置也一样 #1055

Open chrishjx opened 6 months ago

chrishjx commented 6 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x] 私有部署版本

问题描述 同一个流程编排对话，用通义千问可以提取文本，用百度和智谱的都获取不了，模型的config.json设置也一样 复现步骤

预期结果 用百度和智谱应该也能获取流程编程的导出脚本.txt config.json

相关截图

c121914yu commented 6 months ago

估计得，调提示词。

chrishjx commented 6 months ago

估计得，调提示词。

请问有没有好的建议呢，我这几天也按您的建议，调了好几回都不行，我也试过给AI模型提问，让他编一个提示词，也不行。郁闷

nongmo677 commented 6 months ago

这个东西很难说，目前来看，这些大厂的大模型更多的是对接自家业务，或者是丰富对话场景/对话角色，对于一些精细一点的指令提示词有可能就是不支持，甚至不如一些开源的模型，甚至加了很多限制，另外国内的模型不太像gpt，调提示词这件事比较难受，往上一些提示词教程不能直接应用在国内模型上，还是得默默摸索，比较鸡肋

echoopen commented 6 months ago

这个提取差得离谱，用gpt几的模型都有问题，而且会出现问题中没有，但是提取出来的情况。

c121914yu commented 6 months ago

这个提取差得离谱，用gpt几的模型都有问题，而且会出现问题中没有，但是提取出来的情况。

Screenshot_20240403_231501_com.android.chrome.jpg Screenshot_20240403_231549_com.android.chrome.jpg Screenshot_20240403_231709_com.android.chrome.jpg

感觉没啥问题，对单个字段提取挺准。

chrishjx commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

c121914yu commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

确实没针对提示词模式调优过，后面再看看。你是提取的内容不对，还是说，它根本没返回 json

chrishjx commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

确实没针对提示词模式调优过，后面再看看。你是提取的内容不对，还是说，它根本没返回 json

json返回空，那就是应该没提取出来。

c121914yu commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

确实没针对提示词模式调优过，后面再看看。你是提取的内容不对，还是说，它根本没返回 json

json返回空，那就是应该没提取出来。

日志会有提示，如果返回不是合法格式。不合法也是返回空对象

chrishjx commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

确实没针对提示词模式调优过，后面再看看。你是提取的内容不对，还是说，它根本没返回 json

json返回空，那就是应该没提取出来。

日志会有提示，如果返回不是合法格式。不合法也是返回空对象

我看界面是没有报错，fastgpt的log，如果是百度的大模型，会提示有一个无效字符，但是我找了好久也不知道是哪里。大佬帮忙看看这个报错是否有用，在哪里处理呢。日志我也导出来了，不知道会不会太大不方便看 _fastgpt_logs.txt

千问_02 千问_01 百度_402 百度_01

c121914yu commented 6 months ago

感觉是看大模型，我用通义千问可以提取文本，用百度和智谱的都获取不了，都是付费的API。所以才郁闷。试了好久都不行。或者不知道是不是要针对不同大模型要有不同设置方式或者不同提示词

确实没针对提示词模式调优过，后面再看看。你是提取的内容不对，还是说，它根本没返回 json

json返回空，那就是应该没提取出来。

日志会有提示，如果返回不是合法格式。不合法也是返回空对象

我看界面是没有报错，fastgpt的log，如果是百度的大模型，会提示有一个无效字符，但是我找了好久也不知道是哪里。大佬帮忙看看这个报错是否有用，在哪里处理呢。日志我也导出来了，不知道会不会太大不方便看 _fastgpt_logs.txt

就是没返回 json

chrishjx commented 6 months ago

那就是没有提取成功了，但是我看他会报一个invalid character“ ’”，不知道是哪里出错了。

c121914yu commented 6 months ago

那就是没有提取成功了，但是我看他会报一个invalid character“ ’”，不知道是哪里出错了。

因为没返回 json，所以解析肯定失败。

echoopen commented 6 months ago

我没有提取的内容，只是在枚举值中写了示例，他就提取了，提取不准确后面的流都没法做

SDAIer commented 3 months ago

跟进下