IAAR-Shanghai / CRUD_RAG

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models
https://arxiv.org/abs/2401.17043
241 stars 20 forks source link

为什么我根据promote得到的内容是我summary中promete的示例内容而非我下面输入的内容? #27

Open 952446418 opened 3 days ago

952446418 commented 3 days ago

如题,我的promte是 |im_start|>system You are a helpful assistant.<|im_end|> <|im_start|>user 请模仿例子,使用一段话回答问题,简短有力,不需要额外分段分点。控制生成内容的长度。你是一名新闻工作者。我希望你能根据新闻事件,以及检索到的有关该事件的报告,生成这个新闻事件的摘要。摘要的格式:

福建省防指于2023年7月26日召开视频会议,郭宁宁总指挥再次强调了防御超强台风“杜苏芮”的重要性,并进行了再部署和再落实工作。会议要求各级各部门要紧密合作,全力保障人民生命财产安全。同时,国家防总办公室也组织了防汛防台风专题视频会商调度,与相关部门共同研判台风“杜苏芮”的发展态势,并调度部署重点地区的防汛防台风工作。根据会商研判,台风“杜苏芮”将于28日早晨到上午在福建福清到广东惠来一带沿海登陆,具有风浪大、降雨强度大、影响范围广等特点,可能影响多个省市。防汛防台风形势严峻,任务艰巨。

现在新闻事件是:

2023年8月4日,全国中小企业股份转让系统有限责任公司发布《全国中小企业股份转让系统股票公开转让并挂牌审核指引——区域性股权市场创新型企业申报与审核(试行)》,为“专精特新”企业进入资本市场提供了便捷的路径。

现在我检索到的文档是:

《意见》从持续优化发展环境、加大政策支持力度、强化法治保障等方面进行指导,引导社会客观正确全面认识民营经济和民营经济人士。《意见》方向精准,内容全面,举措务实,给当下民营经济发展注入了强劲动力。作为民营

刘永好、丁世忠、宗庆后、李宁、李东生、周鸿祎、徐冠巨、姚劲波等民营企业家纷纷表示备受振奋和鼓舞,《意见》的发布对于民营企业坚定信心、大胆发展,具有重要的激励和指导作用。

《意见》指出,民营经济是推进中国式现代化的生力军,是高质量发展的重要基础,是推动我国全面建成社会主义现代化强国、实现第二个百年奋斗目标的重要力量。在这一重磅文件发布后,王健林、马化腾、雷军、李书福、

我们将以《意见》精神为指引,坚守主业、做精实业。聚焦聚力党建引领,努力把党的政治优势组织优势转化为企业创新优势、竞争优势、发展优势,赋能企业高质量发展;聚焦聚力做强主业,充分发

挥集团钢铁制造业优势,依靠科技创新增品种、提质量、创品牌,加快推动产品迈向高端化;聚焦聚力创新驱动,不断推进技术创新、产品创新、品牌创新、管理创新、市场创新、制度创新和商业模式创新;

07-21 00:10,正文:来源:中国企业家俱乐部昨晚,《中共中央 国务院关于促进民营经济发展壮大的意见》重磅发布。这一消息在媒体端和企业家群体内广泛传播,引起了热烈的反响。

65万股,市盈率25.16倍,属于深交所创业板,国信证券为其独家保荐人。

第六届进博会将继续沿用通关便利、市场准入等方面的19项支持政策,今年中国海关又新增了1项支持举措。据上海市政府副秘书长、进博会城市服务保障领导小组办公室主任章雄介绍,该项新政是“在评估确认风险可

请你完成要该事件的摘要(摘要的文本写在之间): <|im_end|> <|im_start|>assistant

我的输出是 '福建省防指于2023年7月26日召开视频会议,郭宁宁总指挥再次强调了防御超强台风“杜苏芮”的重要性,并进行了再部署和再落实工作。会议要求各级各部门要紧密合作,全力保障人民生命财产安全。同时,国家防总办公室也组织了防汛防台风专题视频会商调度,与相关部门共同研判台风“杜苏芮”的发展态势,并调度部署重点地区的防汛防台风工作。根据会商研判,台风“杜苏芮”将于28日早晨到上午在福建福清到广东惠来一带沿海登陆,具有风浪大、降雨强度大、影响范围广等特点,可能影响多个省市。防汛防台风形势严峻,任务艰巨。'

haruhi-sudo commented 1 day ago

可能原因

  1. 代码出错了。建议简化提示词,删除提示词中所有的例子,只保留检索文档,看看能不能正确生成结果。如果仍然不能正确生成,证明代码出了错误
  2. 小模型不能正确理解prompt。这个现象我们也发现过,能力比较弱的小模型有时无法正确理解prompt,而是直接重复prompt里的例子。这可能是正常现象,换成参数规模大的模型问题就解决了