Open QAyong opened 1 year ago
我纯路人,好奇老哥你看过首页的方案或者技术报告吗,这个项目跟你说的方案大同小异,可能你的增量在于不同大类的处理方式略有不同……
我纯路人,好奇老哥你看过首页的方案或者技术报告吗,这个项目跟你说的方案大同小异,可能你的增量在于不同大类的处理方式略有不同……
可以重新看下我的技术方案,虽然两者都是使用嵌入方式将检索到的法条加入回答,但原模型的方案是相似性匹配法条,但现实中法条需要精确且法条随时会更新。我的方案是模型模拟人进行法律检索外加外部数据库核对(数据库可以随时更新法条),我自己实测过,如果在GPT4这样的一个模型推理能力上,加入正确的法条,模型就会做出正确的推理(详情可以看我视频:[https://www.bilibili.com/video/BV1Lh4y1H71U]。我个人认为使用向量数据库的方式,通过相似性检索的法条会降低正确率,故而选择传统搜索方式检索法条。
通过相似性检索的法条会降低正确率,故而选择传统搜索方式检索法条。 传统搜索方式怎么检索法条?不是通过相似性吗?
通过相似性检索的法条会降低正确率,故而选择传统搜索方式检索法条。 传统搜索方式怎么检索法条?不是通过相似性吗?
当然不是通过相似性,法律检索有一套自己的检索规则。比如体系检索 ,基于请求权的检索https://mp.weixin.qq.com/s/S23z0aX15Cu6u5Y9Qxa5bw
我纯路人,好奇老哥你看过首页的方案或者技术报告吗,这个项目跟你说的方案大同小异,可能你的增量在于不同大类的处理方式略有不同……
可以重新看下我的技术方案,虽然两者都是使用嵌入方式将检索到的法条加入回答,但原模型的方案是相似性匹配法条,但现实中法条需要精确且法条随时会更新。我的方案是模型模拟人进行法律检索外加外部数据库核对(数据库可以随时更新法条),我自己实测过,如果在GPT4这样的一个模型推理能力上,加入正确的法条,模型就会做出正确的推理(详情可以看我视频:[https://www.bilibili.com/video/BV1Lh4y1H71U]。我个人认为使用向量数据库的方式,通过相似性检索的法条会降低正确率,故而选择传统搜索方式检索法条。
关于解决AI模型生成法条错误的方案设想
一、问题表现
测试平台:chatlaw(模型为快速)
测试问题:
中国法律服务网 (12348.gov.cn)
prompt:
回答情况:
模型生成结果存在以下问题:
引用法条内容错误:答案中“《中华人民共和国消费者权益保护法》第二十五条”现实法条内容为:
第二十五条【无理由退货制度】经营者采用网络、电视、电话、邮购等方式销售商品,消费者有权自收到商品之日起七日内退货,且无需说明理由,但下列商品除外:
(一)消费者定作的;
(二)鲜活易腐的;
(三)在线下载或者消费者拆封的音像制品、计算机软件等数字化商品;
(四)交付的报纸、期刊。
除前款所列商品外,其他根据商品性质并经消费者在购买时确认不宜退货的商品,不适用无理由退货。
消费者退货的商品应当完好。经营者应当自收到退回商品之日起七日内返还消费者支付的商品价款。退回商品的运费由消费者承担;经营者和消费者另有约定的,按照约定。
非答案中所言商家不得擅自向消费者加价、变相消费或强制消费。
问题原因分析:
结论:模型适合推理但不适合生成准确的信息
二、个人方案
1. 建议借鉴newbing模式,使模型调用外部数据库进行回答
以下为newbing的回答:
![image](https://github.com/PKU-YuanGroup/ChatLaw/assets/131734913/3326e3ae-bf5d-4c10-8360-112919b30631)
从上述回答可以看出,newbing调用搜索内容,虽然可能会搜索到过时的内容,但法条内容是正确的。这说明模型自身推理能力加外部数据库的方式是增加模型生成结果正确率的一个重要方式
以下为newbing模式的基本流程:
2. 实现路径(基于个人理解)
1. 思路解释
个人方案借鉴newbing方案。由前述可知,newbing方案主要是结合外部数据库(搜索引擎)来提高生成结果的正确率,这样的方式生成结果的正确率是远高于单纯模型(如GPT4、chatlaw、claude)生成结果的。
newbing模式的重点在于用户输入问题与搜索引擎的联系,该联系为如何保证用户输入问题与搜索引擎返回内容具有相关性。newbing方案的解决方法是使用关键词或搜索语句。要求模型基于用户问题生成关键词或搜索语句,使搜索引擎返回相关内容。这样的做法其实是模仿人类使用搜索引擎。现实生活中,人类的搜索模式大致是这样,只不过里面有个AI帮我们代劳了。基于此,如果想要实现法律模型调用外部数据库(法律法规数据库,案例数据库),其重点在于找到一个可以确保用户问题与数据库内容之间相关性的规则。在法律领域,我们可以结合实际的法律检索过程,由AI模仿实际的人类检索过程找出相关内容。由于本人目前只在民法和行政法领域有检索经验,所以只提供这两个领域的方案(方案并不是很完美,还请小伙伴们指正)。
2. 民法方案
由前述可知,需要一套规则来关联法律法规数据库。民法领域中内容多集中于《民法典》,这里,个人建议不采用生成关键字的方式,而采取请求权方法的思维来关联。(也可采用章节内容等方式来归类法条)
概言之,通过请求权方法这一套抽象理论将法条进而归类,这样做的好处在于模型只需了解一套规则而不需要去记住具体的法条。这样不管法条如何更改,只要不在逃脱规则之外,后续只需更新数据库即可继续使用。
以下为请求权类型:
请求权基础的类型:
返还请求权
补偿及求偿请求权
支出费用偿还请求权
不作为请求权
具体方法为:由AI基于用户问题判断属于民法当中何请求权,基于该请求权,找到相关法条,由法条出发寻找相关案例,最终返回AI
3. 行政法方案(针对于企业风险识别)
行政法方案大体与民法方案相当,这里规则由请求权规则更改为由判断企业行为由什么部门管理,进而根据AI生成关键词,查找该部门出台的相关法规进而锁定法条。
以下为流程演示: