模型是否输出思考过程，导致AI的回复内容完全不一样

[SDAIer]

两个AI，使用同一个LLM模型，一个要求直接回答，另一个要求先输出思考过程，然后回复答案。 以上两个AI回答的完全不同，其中第二个AI（先输出思考过程再回答）回答的效果较好。 更换了好几个LLM模型，效果一样

但是，如果先输出思考过程然后再回答问题，对用户的体验不太好，这个怎么解决？

例如： 问题：费用核销 AI回复：

··············无思考过程的AI回复······················ 费用核销通常指的是在企业中，员工将因公发生的费用通过提交报销单据，经过审批流程后，由企业财务部门进行审核并最终支付的过程。这个过程涉及收集和上传发票、生成费用记录、填写报销单、费用分摊、审批等多个环节。在威高集团的财务共享中心系统中，费用核销遵循一定的流程和规则，比如：

发票上传：员工将因公产生的各类发票上传至系统，系统会自动识别发票信息并生成费用记录。 费用记录生成：上传的发票会生成费用记录，员工需要检查这些记录的准确性，并对未被系统正确识别的部分进行手动修正。 报销单填写：在费用记录基础上，员工填写报销单，包括费用类型、金额、费用说明等信息。 费用分摊：根据企业的费用分摊政策，员工需要将费用合理分摊到不同的成本中心或项目上。 审批流程：提交的报销单需要经过各级领导的审批，审批通过后才能进入财务审核阶段。 财务审核与支付：财务部门会对报销单进行最终审核，确认无误后，安排款项支付给员工。 如果您在费用核销过程中遇到具体问题，比如如何处理发票、如何生成费用记录、费用报销单填写细节、费用分摊原则、审批流程中的注意事项等，您可以参考之前提供的具体场景解答，或直接输入联系人工客服进行咨询。确保费用核销过程顺利，需要遵循公司规定的流程和标准，以保证财务合规性和效率。如果您有任何疑问或需要进一步的帮助，欢迎随时提问。

··············带思考过程的AI回复······················ 【我的思考】用户提及“费用核销”，但没有给出具体的情境或问题细节。在XX集团的财务共享中心环境中，费用核销可能涉及多种场景，如差旅报销、发票处理、费用记录的生成和审核等。鉴于此，我将首先询问用户是否需要了解费用核销的一般流程，还是遇到了具体问题需要解决。

【我的回答】关于费用核销，您是希望了解一般的流程指导，还是在处理某项具体事务时遇到了困难？如果是后者，请详细描述您遇到的问题，例如是否与发票上传、费用记录生成、报销单提交或审核过程有关，这样我可以提供更精准的解答。如果只是想了解基本流程，费用核销通常包括以下几个步骤：收集并上传相关发票，生成费用记录，填写并提交报销单，经过审批流程，最后完成付款。每一步骤都有其特定的要求和操作指南，具体细节可能因不同的报销类型和公司政策而异。如果您需要针对某一环节的详细指导，请告诉我。

[c121914yu]

一个模型思考，1 个模型回答。

[SDAIer]

大神说的思路之前尝试过。但是这会导致用户等待AI回复时间比较长

[c121914yu]

大神说的思路之前尝试过。但是这会导致用户等待AI回复时间比较长

那没办法了，能解的话，就没 o1 的事了。

[SDAIer]

为什么同一个模型，是否输出思考过程，对回答有影响

[glimmer1998]

··············带思考过程的AI回复······················ 【我的思考】用户提及“费用核销”，但没有给出具体的情境或问题细节。在XX集团的财务共享中心环境中，费用核销可能涉及多种场景，如差旅报销、发票处理、费用记录的生成和审核等。鉴于此，我将首先询问用户是否需要了解费用核销的一般流程，还是遇到了具体问题需要解决。

【我的回答】关于费用核销，您是希望了解一般的流程指导，还是在处理某项具体事务时遇到了困难？如果是后者，请详细描述您遇到的问题，例如是否与发票上传、费用记录生成、报销单提交或审核过程有关，这样我可以提供更精准的解答。如果只是想了解基本流程，费用核销通常包括以下几个步骤：收集并上传相关发票，生成费用记录，填写并提交报销单，经过审批流程，最后完成付款。每一步骤都有其特定的要求和操作指南，具体细节可能因不同的报销类型和公司政策而异。如果您需要针对某一环节的详细指导，请告诉我。

加一步信息抽取呢，从这个结果中抽取出回答部分，再展示给用户？

[SDAIer]

思路ok，但是会增加用户等待时间，用户体验不好。

问题重点是为什么会这样

---原始邮件--- 发件人: @.> 发送时间: 2024年10月15日(周二) 下午4:42 收件人: @.>; 抄送: @.**@.>; 主题: Re: [labring/FastGPT] 模型是否输出思考过程，导致AI的回复内容完全不一样 (Issue #2909)

··············带思考过程的AI回复······················ 【我的思考】用户提及“费用核销”，但没有给出具体的情境或问题细节。在XX集团的财务共享中心环境中，费用核销可能涉及多种场景，如差旅报销、发票处理、费用记录的生成和审核等。鉴于此，我将首先询问用户是否需要了解费用核销的一般流程，还是遇到了具体问题需要解决。

【我的回答】关于费用核销，您是希望了解一般的流程指导，还是在处理某项具体事务时遇到了困难？如果是后者，请详细描述您遇到的问题，例如是否与发票上传、费用记录生成、报销单提交或审核过程有关，这样我可以提供更精准的解答。如果只是想了解基本流程，费用核销通常包括以下几个步骤：收集并上传相关发票，生成费用记录，填写并提交报销单，经过审批流程，最后完成付款。每一步骤都有其特定的要求和操作指南，具体细节可能因不同的报销类型和公司政策而异。如果您需要针对某一环节的详细指导，请告诉我。

加一步信息抽取呢，从这个结果中抽取出回答部分，再展示给用户？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[glimmer1998]

思路ok，但是会增加用户等待时间，用户体验不好。 问题重点是为什么会这样 … ---原始邮件--- 发件人: @.> 发送时间: 2024年10月15日(周二) 下午4:42 收件人: @.>; 抄送: @.**@.>; 主题: Re: [labring/FastGPT] 模型是否输出思考过程，导致AI的回复内容完全不一样 (Issue #2909) ··············带思考过程的AI回复······················ 【我的思考】用户提及“费用核销”，但没有给出具体的情境或问题细节。在XX集团的财务共享中心环境中，费用核销可能涉及多种场景，如差旅报销、发票处理、费用记录的生成和审核等。鉴于此，我将首先询问用户是否需要了解费用核销的一般流程，还是遇到了具体问题需要解决。 【我的回答】关于费用核销，您是希望了解一般的流程指导，还是在处理某项具体事务时遇到了困难？如果是后者，请详细描述您遇到的问题，例如是否与发票上传、费用记录生成、报销单提交或审核过程有关，这样我可以提供更精准的解答。如果只是想了解基本流程，费用核销通常包括以下几个步骤：收集并上传相关发票，生成费用记录，填写并提交报销单，经过审批流程，最后完成付款。每一步骤都有其特定的要求和操作指南，具体细节可能因不同的报销类型和公司政策而异。如果您需要针对某一环节的详细指导，请告诉我。 加一步信息抽取呢，从这个结果中抽取出回答部分，再展示给用户？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

因为模型输出是概率问题，确实会受到提示词的影响，让他一步步做，或者慢慢思考，都会改变它输出的内容，而且一般是往好的方向发展。