关于模型生成错误的法条情况的反映（附个人的解决方案.个人愚见）

[QAyong]

关于解决AI模型生成法条错误的方案设想

一、问题表现

测试平台：chatlaw（模型为快速）
测试问题：

电瓶车商家不退订金,电瓶车商家把我订的那一辆卖给了别人 但是我已经交了订金 现在不退还 还要我强制购买.

中国法律服务网 (12348.gov.cn)

prompt:

电瓶车商家不退订金。电瓶车商家把我订的那一辆卖给了别， 但是我已经交了订金，现在不退还，还要我强制购买。我应该怎么办？ 回答问题请基于最新的民法典。并回答内容中需要相关法律条文。

回答情况：

根据最新的《中华人民共和国民法典》和其他相关法律法规，针对您提出的问题，您可以采取以下行动：

1. 首先，您可以与电瓶车商家协商解决此问题。您可以要求商家退还您已交的订金，并要求他们履行合同。

2. 如果商家拒绝退还订金并强制您购买电瓶车，您可以参考以下相关法律条款提出合理诉讼请求：

   a. 根据《中华人民共和国民法典》第一千四百三十八条的规定，当事人在订货协议中支付定金后，对方违反合同约定不交货的，支付方有权要求对方返还双倍定金。

   b. 根据《中华人民共和国合同法》第六十条的规定，商家应当按照合同约定的要求交付电瓶车。如果商家将车辆卖给别的消费者，违反了合同约定，您可以主张违约责任，并要求商家承担相应的经济损失。

   c. 根据《中华人民共和国消费者权益保护法》第二十五条的规定，商家不得擅自向消费者加价、变相消费或强制消费。如果商家要求您强制购买电瓶车，您可以主张消费者权益受到侵害，并要求商家承担法律责任。

3. 在起诉商家之前，您可以收集相关证据来支持您的主张，例如：

   a. 订单或购买协议：包括订单或购买协议的副本，确保有证据证明您已经交了订金。

   b. 交流记录：包括电子邮件、短信或其他通信记录，证明您与商家就订单的问题进行过沟通。

   c. 见证人证言：如果有其他人在场或有人作为证人听到商家的要求强制购买电瓶车，他们的证词可以作为证据支持您的主张。

   d. 电子支付记录或银行转账凭证：用于证明您已向商家支付了订金。

4. 在诉讼过程中，下述事项可能引起争议：

   a. 商家在卖给别人之前是否与您订立了有效的购买协议，以及该协议的具体内容。

   b. 您是否履行了您在购买协议中的义务，例如按时支付订金。

   c. 商家在拒绝退还订金和强制购买时提出的理由，以及他们对您的要求做出的反应。

请您知悉，以上仅为一般性建议，具体操作和法律效果还需要结合具体案情，如果您需要更具体和个性化的建议，建议您咨询当地法律专业人士以获取准确的法律意见。

模型生成结果存在以下问题：

• 编造虚假法条：民法典只有一千二百六十条，不存在生成结果中的“第一千四百三十八条”
• 引用过时法条：答案中引用“《中华人民共和国合同法》第六十条”属于法律效力失效的法条

• 引用法条内容错误：答案中“《中华人民共和国消费者权益保护法》第二十五条”现实法条内容为：

  第二十五条【无理由退货制度】经营者采用网络、电视、电话、邮购等方式销售商品，消费者有权自收到商品之日起七日内退货，且无需说明理由，但下列商品除外：

  （一）消费者定作的；

  （二）鲜活易腐的；

  （三）在线下载或者消费者拆封的音像制品、计算机软件等数字化商品；

  （四）交付的报纸、期刊。

  除前款所列商品外，其他根据商品性质并经消费者在购买时确认不宜退货的商品，不适用无理由退货。

  消费者退货的商品应当完好。经营者应当自收到退回商品之日起七日内返还消费者支付的商品价款。退回商品的运费由消费者承担；经营者和消费者另有约定的，按照约定。
  非答案中所言商家不得擅自向消费者加价、变相消费或强制消费。

问题原因分析：

1. 训练数据问题：模型训练数据包含不同时期的法律法规，这使得模型给出的法律法规是错误的
2. 模型本身问题导致：模型自身产生的“幻觉”

结论：模型适合推理但不适合生成准确的信息

二、个人方案

1. 建议借鉴newbing模式，使模型调用外部数据库进行回答

以下为newbing的回答：

你好，这是Bing。我很抱歉听到你的遭遇。根据我从网络上搜索到的信息，我尝试为你提供一些法律建议。

首先，你需要区分你交给电瓶车商家的是​定金​还是​订金​。这两者在法律上有不同的含义和效力。《民法典》第五百八十六条规定，当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力​^1^。

如果你交给电瓶车商家的是定金，那么《民法典》第五百八十七条规定，债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金​^1^。也就是说，如果是电瓶车商家违约了，他应该双倍退还你的定金；如果是你违约了，他可以不退还你的定金。

如果你交给电瓶车商家的是订金，那么订金一般被视为预付款，而不具有与定金相同的担保性质。无论是哪一方原因造成合同不能履行，给付订金一方都可以主张全额返还​^2^。也就是说，无论是电瓶车商家还是你违约了，他都应该退还你的订金。

因此，你应该根据你和电瓶车商家之间是否有明确约定交付定金或订金，并且是否有书面证据来证明这一点来判断你是否有权要求退款。如果有证据表明你交付的是订金或者超过主合同标的额20%的部分，则你可以向电瓶车商家提出退款要求，并且如果他拒绝了，你可以向消费者协会或者法院投诉或起诉他。如果没有证据表明你交付的是订金或者超过主合同标的额20%的部分，则你可能无法要求退款，但是也不必强制购买电瓶车，因为这样会损害你的自由意志和公平原则。

希望我的回答对你有所帮助。如果你还有其他问题，请随时联系我。祝你好运！😊

从上述回答可以看出，newbing调用搜索内容，虽然可能会搜索到过时的内容，但法条内容是正确的。这说明模型自身推理能力加外部数据库的方式是增加模型生成结果正确率的一个重要方式

以下为newbing模式的基本流程：

2. 实现路径（基于个人理解）

1. 思路解释

个人方案借鉴newbing方案。由前述可知，newbing方案主要是结合外部数据库（搜索引擎）来提高生成结果的正确率，这样的方式生成结果的正确率是远高于单纯模型（如GPT4、chatlaw、claude)生成结果的。

newbing模式的重点在于用户输入问题与搜索引擎的联系，该联系为如何保证用户输入问题与搜索引擎返回内容具有相关性。newbing方案的解决方法是使用关键词或搜索语句。要求模型基于用户问题生成关键词或搜索语句，使搜索引擎返回相关内容。这样的做法其实是模仿人类使用搜索引擎。现实生活中，人类的搜索模式大致是这样，只不过里面有个AI帮我们代劳了。基于此，如果想要实现法律模型调用外部数据库（法律法规数据库，案例数据库），其重点在于找到一个可以确保用户问题与数据库内容之间相关性的规则。在法律领域，我们可以结合实际的法律检索过程，由AI模仿实际的人类检索过程找出相关内容。由于本人目前只在民法和行政法领域有检索经验，所以只提供这两个领域的方案（方案并不是很完美，还请小伙伴们指正）。

2. 民法方案

由前述可知，需要一套规则来关联法律法规数据库。民法领域中内容多集中于《民法典》，这里，个人建议不采用生成关键字的方式，而采取请求权方法的思维来关联。(也可采用章节内容等方式来归类法条）

请求权方法，系指处理实例应以请求权基础 (Anspruchsgrundlage , 或 称为请求权规范基础， Anspruchsnormengrundlage) 为出发点 。

概言之，通过请求权方法这一套抽象理论将法条进而归类，这样做的好处在于模型只需了解一套规则而不需要去记住具体的法条。这样不管法条如何更改，只要不在逃脱规则之外，后续只需更新数据库即可继续使用。

以下为请求权类型：

• 请求权基础的类型：

  1. 契约上给付请求权：基于==契约（合同）==而生请求某种给付的权利

  2. 返还请求权

     • 物上返还请求权
     • 债权请求权
     • 用益的返还
  3. 损害赔偿请求权（普遍且包含）

  4. 补偿及求偿请求权

     • 代偿请求权
     • 让与请求权
     • 不当得利上之代偿请求权
     • 连带债务人之求偿权

  5. 支出费用偿还请求权

     • 受任人处理委任事物所支出必要费用之偿还请求权
     • 受寄人因保管寄托物而支出必要费用之偿还请求权
     • 债权人受领迟延者，债务人得请求其赔偿提出及保管给付物之必要费用
     • 无因管理人之支出费用偿还请求权
     • 善意占有人，因保存占有物所支出之必要费用 ， 得向恢复请求人请求偿还，但己就占有物取得孽息者，不得请求偿还
     • 恶意占有人，因保存占有物所支出之必要费用，对于恢复请求人，得依关于无因管理之规定，请求偿还

  6. 不作为请求权

     • 债权请求权（行为上,不作为也是作为）
     • 物上请求权（请求权）

具体方法为：由AI基于用户问题判断属于民法当中何请求权，基于该请求权，找到相关法条，由法条出发寻找相关案例，最终返回AI

3. 行政法方案（针对于企业风险识别）

行政法方案大体与民法方案相当，这里规则由请求权规则更改为由判断企业行为由什么部门管理，进而根据AI生成关键词，查找该部门出台的相关法规进而锁定法条。

以下为流程演示：

[yucc-leon]

我纯路人，好奇老哥你看过首页的方案或者技术报告吗，这个项目跟你说的方案大同小异，可能你的增量在于不同大类的处理方式略有不同……

[QAyong]

我纯路人，好奇老哥你看过首页的方案或者技术报告吗，这个项目跟你说的方案大同小异，可能你的增量在于不同大类的处理方式略有不同……

可以重新看下我的技术方案，虽然两者都是使用嵌入方式将检索到的法条加入回答，但原模型的方案是相似性匹配法条，但现实中法条需要精确且法条随时会更新。我的方案是模型模拟人进行法律检索外加外部数据库核对（数据库可以随时更新法条），我自己实测过，如果在GPT4这样的一个模型推理能力上，加入正确的法条，模型就会做出正确的推理（详情可以看我视频：[https://www.bilibili.com/video/BV1Lh4y1H71U]。我个人认为使用向量数据库的方式，通过相似性检索的法条会降低正确率，故而选择传统搜索方式检索法条。

[invado]

通过相似性检索的法条会降低正确率，故而选择传统搜索方式检索法条。 传统搜索方式怎么检索法条？不是通过相似性吗？

[QAyong]

通过相似性检索的法条会降低正确率，故而选择传统搜索方式检索法条。 传统搜索方式怎么检索法条？不是通过相似性吗？

当然不是通过相似性，法律检索有一套自己的检索规则。比如体系检索 ，基于请求权的检索https://mp.weixin.qq.com/s/S23z0aX15Cu6u5Y9Qxa5bw

[yucc-leon]

我纯路人，好奇老哥你看过首页的方案或者技术报告吗，这个项目跟你说的方案大同小异，可能你的增量在于不同大类的处理方式略有不同……

可以重新看下我的技术方案，虽然两者都是使用嵌入方式将检索到的法条加入回答，但原模型的方案是相似性匹配法条，但现实中法条需要精确且法条随时会更新。我的方案是模型模拟人进行法律检索外加外部数据库核对（数据库可以随时更新法条），我自己实测过，如果在GPT4这样的一个模型推理能力上，加入正确的法条，模型就会做出正确的推理（详情可以看我视频：[https://www.bilibili.com/video/BV1Lh4y1H71U]。我个人认为使用向量数据库的方式，通过相似性检索的法条会降低正确率，故而选择传统搜索方式检索法条。

1. 这条基本认同。不用比较多的行业数据（query-title）做微调，基于通用向量模型做出来的召回效果肯定是不行的。
2. 大概看了下文你分享的内容，这套东西业务逻辑上比较重，但看起来确实是比较踏实的做法。正经做业务的话是一套不错的思路。