IAAR-Shanghai / CRUD_RAG

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models
https://arxiv.org/abs/2401.17043
233 stars 20 forks source link

提供的数据有错误? #7

Closed SingL3 closed 5 months ago

SingL3 commented 5 months ago

比如: split_merge.json#L29903

        {
            "ID": "64fa9b2eb82641eb8ecbfe0e",
            "event": "2023年7月31日,由于强台风“杜苏芮”的影响,北京市发布了暴雨红色预警信号,北京市旅游行业协会发文呼吁全市旅游行业做好后续行程安排,共同应对这场强降雨。",
            "summary": "受强台风“杜苏芮”影响,北京市旅游行业协会发出温馨提示,要求全市旅游景区、旅行社、酒店和乡村民宿等旅游企业严格按照相关部门要求做好防汛工作,及时与旅游供应商协商退订、退费,为游客提供“有温度”的服务,并积极处理相关善后工作,确保安全、平稳、高效地处理相关问题。",
            "beginning": "2023-7-31 15:12,正文:\n\n                    \n\n北京旅游行业协会:旅企要按有关规定做好退订和退费等事宜 \n\n央广网北京7月31日消息 受到强台风“杜苏芮”影响,7月29日17时30分,北京市发布暴雨红色预警信号,市防汛指挥部于7月29日19时启动全市防汛红色(一级)预警响应。北京市旅游行业协会发文呼吁全市旅游行业同仁携手游客,以沟通和理解为纽带,一起做好后续行程安排,共同应对这场强降雨。\n\n北京市旅游行业协会特向全市相关旅游企业及从业人员作出如下温馨提示:\n\n1、请全市旅游景区、旅行社、酒店和乡村民宿等旅游企业严格按照相关部门要求做好防汛工作;\n\n2、全市相关旅游企业及从业人员要本着“人民至上、生命至上”的原则及时通报红色暴雨预警对旅游出行计划的影响,并及早与旅游供应商协商退订、退费,将游客的损失降低到最小限度;\n\n3、各相关企业及工作人员要竭尽全力为游客提供“有温度”的服务,热心为游客排忧解难,认真做好相关服务保障工作;\n\n4、各相关企业(包括OTA平台)要积极处理相关善后工作,耐心细致地作好解释,按有关规定做好退订和退费,妥善处理旅游合同变更等事宜;\n\n5、各相关企业要加强对一线导游及工作人员的人文关怀,帮助他们解决实际困难,指导和处理工作中遇到的难题,确保安全、平稳、高效地处理相关问题。",
            "continuing": ""
        },

会触发除0错误。似乎还有不少。

SingL3 commented 5 months ago
        {
            "ID": "num_007160",
            "headLine": "(财经·行情)15日国内大宗商品弱势盘整",
            "broadcastDate": "2016-01-15 17:03:29",
            "type": "num",
            "newsBeginning": "   新华社上海1月15日专电(记者陈爱平)15日,国内大宗商品弱势盘整,跟踪大宗商品综合表现的文华商品指数收微涨。\n  截至收盘,螺纹钢期货领涨,主力合约收于每吨1778元,较前一交易日结算价上涨33元,涨幅1.89%;",
            "hallucinatedContinuation": "铁矿石期货收于每吨362.5元,涨5元,涨幅1.4%。",
            "generatedBy": "InternLM_20B_Chat",
            "appearedKeywords": [
                "每吨",
                "涨幅"
            ],
            "allKeywords": {
                "铁矿石期货": "不合理,与事实冲突,原文并未提到铁矿石期货",
                "每吨": "合理",
                "362.5元": "不合理,与事实冲突,原文并未提到铁矿石期货的价格",
                "涨5元": "不合理,与事实冲突,原文并未提到铁矿石期货上涨的金额",
                "涨幅": "合理",
                "1.4%": "不合理,与事实冲突,原文并未提到铁矿石期货的涨幅"
            },
            "realContinuation": "燃油期货领跌,主力合约收于每吨2483元,较前一交易日结算价下跌49元,跌幅1.94%。",
            "newsRemainder": "燃油期货领跌,主力合约收于每吨2483元,较前一交易日结算价下跌49元,跌幅1.94%。\n  具体品种方面,有色金属以收跌为主:铝期货主力合约收于每吨1.07万元,跌幅0.09%;锌期货主力合约收于每吨1.25万元,跌幅0.2%;铅期货主力合约收于每吨1.26万元,跌幅1.53%;而铜期货主力合约收于每吨3.48万元,涨幅0.14%。\n  石化类商品弱势盘整:焦炭期货主力合约收于每吨626.5元,涨幅1.7%;玻璃期货主力合约收于每吨836元,涨幅0.97%;PE期货主力合约收于每吨7820元,涨幅0.51%;焦煤期货主力合约收于每吨528元,涨幅0.28%;而PVC期货主力合约收于每吨4615元,跌幅0.32%;橡胶期货主力合约收于每吨9795元,跌幅0.36%。\n  农产品中,软商品全线收跌:白糖期货主力合约收于每吨5421元,跌幅0.61%;棉花期货主力合约收于每吨1.12万元,跌幅0.93%。\n  油脂类商品方面,菜籽粕期货主力合约收于每吨1910元,涨幅0.63%;豆粕期货主力合约收于每吨2404元,涨幅0.29%;棕榈油期货主力合约收于每吨4654元,涨幅0.13%;而豆油期货主力合约收于每吨5532元,跌幅0.25%;油菜籽期货主力合约收于每吨3869元,跌幅0.85%。(完)",
            "hallucinatedMod": ""
        },
SingL3 commented 5 months ago
        {
            "ID": "64fa9b27b82641eb8ecbe466",
            "event": "2023年7月20日,英国剑桥大学的研究人员Joris Witstok通过韦布空间望远镜发现少于10亿年历史的星系中存在碳尘埃。",
            "news1": "(记者刘霞)来源:科技日报\",\n\"《自然》18日公开的一篇天文学论文描述了韦布空间望远镜的最新观察,其发现少于10亿年历史的星系中存在碳尘埃。这些元素比氢和氦重,一直被认为是只有更古老星系如银河系(超过130亿年)中才有的特征。这一最新发现将挑战现有理论中关于宇宙尘埃形成的假说。宇宙中存在由众多细小粒子组成的一种固态尘埃,自宇宙大爆炸起,它们便四散在浩瀚宇宙之中。这些星际尘埃产生于濒死的恒星,因而被视为星系演化的一个标志。人们认为在早期宇宙中碳这类较重的元素数量稀少。相反,较古老的星系如银河系,由于观测到对特定紫外频率光的吸收出现“驼峰”,则被认为有着碳尘埃粒,如芳香烃。英国剑桥大学研究团队此次使用韦布空间望远镜的设备观察了一个类似“驼峰”,其中包括一个大爆炸后存在约仅10亿年的星系。观察结果表明,该星系存在含碳的尘埃。",
            "news2": "有时候,距离较近的星系很可能伪装成距离较远的星系。”本研究是韦布空间望远镜高级深星系外巡天(JADES)项目的一部分,由来自10个国家的80多名天文学家参与。研究团队确认了4个极遥远星系的红移,范围从10.4到13.2,这意味着它们形成于宇宙大爆炸后3.25亿年至4.5亿年内,此前确认的最高红移纪录约为11。论文合著者、意大利比萨高等师范学校斯蒂法诺·卡尔尼亚尼说:“这是迄今拍摄到的最微弱的红外光谱。”这项观测历时28小时,共覆盖250个微弱星系。JADES团队计划2023年开展另一组观测,将证实更多遥远星系,向人们揭示星系形成的早期阶段,以及最遥远的星系与人类附近的星系之间的差异。(记者刘霞)来源:科技日报\",\n\"《自然》18日公开的一篇天文学论文描述了韦布空间望远镜的最新观察,其发现少于10亿年历史的星系中存在碳尘埃。这些元素比氢和氦重,一直被认为是只有更古老星系如银河系(超过130亿年)中才有的特征。",
            "thoughts": "",
            "questions": "",
            "answers": ""
        },
haruhi-sudo commented 5 months ago

你好,由于数据集是gpt自动构建的,难免会由于网络原因没有构建成功。不过这些错误的数据占比小于1%,且论文的实验结果不包括这些错误数据。建议您使用过程中自动忽略这些错误