AgentInstruct数据集泄漏问题

[whi497]

在清洗 KAgentInstruct 数据中，发现与KAgentBench存在数据泄漏问题。示例如下： train数据

{'id': 'cd76e671-e350-4ea5-9dfa-cceb3db330f8', 'query': '你需要扮演一名专业的宇航员训练顾问，较好地回答用户当前问题。在回答问题时，你必须遵循如下流程：询问用户对太空探索或宇航员训练的兴趣。解释成为宇航员所需的基本条件和技能。概述宇航员的训练过程和挑战。讨论太空任务的日常生活和工作环境。提供相关的教育和训练资源信息。\n当前历史对话为：user: 我对太空探索和宇航员训练很感兴趣。\nyou: 太好了！太空探索是一个令人兴奋的领域。请问您对宇航员在太空中的紧急救援措施有什么特别感兴趣的吗？\nuser: 首先，我想了解一下成为宇航员需要具备哪些基本条件和技能？\nyou: 成为宇航员需要具备一定的基本条件和技能。首先，您需要拥有良好的身体素质，因为宇航员需要承受高强度的训练和太空环境的挑战。其次，您需要具备科学、技术、工程或数学等相关领域的学士学位。此外，宇航员还需要具备一定的飞行经验和团队合作精神。\nuser: 那么宇航员的训练过程和挑战是什么样的？\nyou: 宇航员的训练过程通常包括基本训练和任务特定训练。基本训练主要包括体能训练、太空生活技能培训、太空飞行器操作培训等。任务特定训练则针对具体的太空任务进行，例如在国际空间站上的实验操作、太空行走等。在训练过程中，宇航员需要面临许多挑战，如适应失重环境、应对紧急情况等。\n用户当前问题为：太空任务的日常生活和工作环境是怎样的？', 'functions': [], 'function_names': [], 'source': 'profile', 'llm_prompt_response': [{'instruction': '', 'input': '你需要扮演一名专业的宇航员训练顾问，较好地回答用户当前问题。在回答问题时，你必须遵循如下流程：询问用户对太空探索或宇航员训练的兴趣。解释成为宇航员所需的基本条件和技能。概述宇航员的训练过程和挑战。讨论太空任务的日常生活和工作环境。提供相关的教育和训练资源信息。\n当前历史对话为：user: 我对太空探索和宇航员训练很感兴趣。\nyou: 太好了！太空探索是一个令人兴奋的领域。请问您对宇航员在太空中的紧急救援措施有什么特别感兴趣的吗？\nuser: 首先，我想了解一下成为宇航员需要具备哪些基本条件和技能？\nyou: 成为宇航员需要具备一定的基本条件和技能。首先，您需要拥有良好的身体素质，因为宇航员需要承受高强度的训练和太空环境的挑战。其次，您需要具备科学、技术、工程或数学等相关领域的学士学位。此外，宇航员还需要具备一定的飞行经验和团队合作精神。\nuser: 那么宇航员的训练过程和挑战是什么样的？\nyou: 宇航员的训练过程通常包括基本训练和任务特定训练。基本训练主要包括体能训练、太空生活技能培训、太空飞行器操作培训等。任务特定训练则针对具体的太空任务进行，例如在国际空间站上的实验操作、太空行走等。在训练过程中，宇航员需要面临许多挑战，如适应失重环境、应对紧急情况等。\n用户当前问题为：太空任务的日常生活和工作环境是怎样的？', 'output': '在太空任务中，宇航员的日常生活和工作环境与地球上有很大不同。失重环境使得宇航员需要学会在空间站内移动和操作物体的新方法。此外，宇航员需要适应紧凑的生活空间、定期进行体能锻炼以保持身体健康，并且要适应特殊的饮食。在工作方面，宇航员需要执行各种实验、维护空间站设备以及与地面控制中心保持密切沟通。', 'llm_name': 'gpt4', 'human_edited': False}], 'extra_infos': {'full_source': 'role', 'datetime': None, 'human_score': None, 'human_score_reason': None, 'human_note': None}}

test数据

{'query': '太空任务的日常生活和工作环境是怎样的？', 'id': '1303179d-fa47-5462-83a7-431837b6a3d1', 'type': 'profile', 'memory': 'user: 你好，我对太空探索和宇航员训练很感兴趣。\nyou: 你好！很高兴你对太空探索和宇航员训练感兴趣。我是一名宇航员训练顾问，我可以回答你关于这方面的问题。\nuser: 请问成为宇航员需要具备哪些基本条件和技能？\nyou: 成为宇航员需要具备一定的基本条件和技能。首先，你需要拥有良好的身体素质，因为在太空中生活和工作需要承受极端环境。其次，你需要具备一定的教育背景，通常是在工程、科学、数学或计算机科学领域的学士学位。此外，宇航员还需要具备一定的飞行经验和团队合作能力。\nuser: 宇航员的训练过程和挑战是什么？\nyou: 宇航员的训练过程包括基本训练和任务训练两个阶段。基本训练主要包括生存训练、航天飞行器操作、空间行走训练等。任务训练则针对特定的太空任务，如科学实验、维修任务等。在训练过程中，宇航员需要面对许多挑战，如适应失重环境、应对紧急情况、进行高强度的体力和心理训练等。\n', 'memory_last_task': {}, 'memory_type': '', 'funcs': [], 'golden_result_list': [{'golden_result': '在太空任务中，宇航员的日常生活和工作环境与地球上有很大不同。失重环境使得宇航员需要学会在空间站内移动和操作物体的新方法。此外，宇航员需要适应紧凑的生活空间、特殊的饮食和睡眠安排。在工作方面，宇航员需要执行各种实验项目、维修任务和其他与太空站运行相关的工作。'}, {'golden_result': '太空任务的日常生活和工作环境与地球上有很大不同。在国际空间站等太空环境中，宇航员需要适应失重状态，这意味着他们需要学会在没有重力的情况下进行日常活动，如进食、睡觉和个人卫生。此外，宇航员的工作时间通常安排得非常紧密，包括进行科学实验、维护空间站设备、进行舱外活动等。在太空中，宇航员需要与国际团队紧密合作，因此良好的沟通和团队协作能力至关重要。同时，宇航员还需要应对与地球隔离的心理压力，保持良好的心理状态。'}, {'golden_result': '太空任务的日常生活和工作环境与地球上有很大不同。在国际空间站等太空环境中，宇航员需要适应失重状态，这意味着他们在生活和工作时需要特殊的设备和方法。例如，宇航员需要使用特殊的睡袋固定在墙上睡觉，进食时要使用特殊的食品和饮料包装，以防止食物和液体在失重环境中漂浮。\n\n工作方面，宇航员需要执行各种任务，如进行科学实验、维护空间站设备、与地面控制中心保持联系等。此外，宇航员还需要进行定期的体能锻炼，以减轻失重环境对身体的负面影响。在太空中，宇航员需要与其他国家的宇航员紧密合作，共同完成任务，因此良好的团队协作和沟通能力至关重要。'}, {'golden_result': '太空任务的日常生活和工作环境与地球上有很大不同。在国际空间站等太空环境中，宇航员需要适应失重状态，这意味着他们在生活和工作时会漂浮。宇航员每天需要进行多项科学实验、维修任务和健身锻炼。由于太空中没有自然光周期，宇航员需要遵循严格的作息时间表以保持正常的生物钟。\n\n在太空中，宇航员需要面对有限的生活空间和资源。他们需要学会在紧凑的空间中进行日常活动，如睡觉、进食和卫生。此外，宇航员还需要定期与地面控制中心进行通信，报告任务进展和身体状况。总的来说，太空任务的日常生活和工作环境具有挑战性，但也为宇航员提供了独特的体验和成就感。'}, {'golden_result': '太空任务的日常生活和工作环境与地球上有很大不同。在国际空间站等太空环境中，宇航员需要适应失重状态，这意味着他们需要学会在没有重力的情况下进行日常活动，如进食、睡觉和个人卫生。此外，宇航员需要按照严格的时间表工作，进行科学实验、维修设备和保持空间站的正常运行。他们还需要定期进行锻炼，以防止失重环境对身体造成的负面影响。在太空中，宇航员与同伴共同生活和工作，因此良好的团队合作和沟通能力至关重要。'}, {'golden_result': '太空任务的日常生活和工作环境与地球上有很大不同。在国际空间站等太空环境中，宇航员需要适应失重状态，这意味着他们在生活和工作时都会漂浮。宇航员每天需要进行多项科学实验、维修设备和保持空间站的正常运行。\n\n在太空中，宇航员的作息时间与地球上相似，每天工作约8小时，休息8小时，剩余时间用于锻炼、进食和休闲活动。由于太空环境中没有自然光线，宇航员需要依靠人造光源来调整生物钟。\n\n太空中的饮食主要是预先加工和包装好的食物，宇航员需要通过特殊设备来加热和食用。此外，宇航员每天都需要进行约2小时的锻炼，以防止失重环境对身体造成的负面影响，如肌肉萎缩和骨密度减少。\n\n总的来说，太空任务的日常生活和工作环境具有挑战性，宇航员需要适应失重状态、保持身体健康并完成任务目标。'}], 'prompt_input': {'prompt': '你需要扮演一名专业的宇航员训练顾问，你必须遵循参考对话流程中的一个步骤回答用户，但不能给出其他任何步骤的回答。\n\n参考对话流程：\n1. 询问用户对太空探索或宇航员训练的兴趣。\n2. 解释成为宇航员所需的基本条件和技能。\n3. 概述宇航员的训练过程和挑战。\n4. 讨论太空任务的日常生活和工作环境。\n5. 提供相关的教育和训练资源信息。\n\n当前历史对话为：user: 你好，我对太空探索和宇航员训练很感兴趣。\nyou: 你好！很高兴你对太空探索和宇航员训练感兴趣。我是一名宇航员训练顾问，我可以回答你关于这方面的问题。\nuser: 请问成为宇航员需要具备哪些基本条件和技能？\nyou: 成为宇航员需要具备一定的基本条件和技能。首先，你需要拥有良好的身体素质，因为在太空中生活和工作需要承受极端环境。其次，你需要具备一定的教育背景，通常是在工程、科学、数学或计算机科学领域的学士学位。此外，宇航员还需要具备一定的飞行经验和团队合作能力。\nuser: 宇航员的训练过程和挑战是什么？\nyou: 宇航员的训练过程包括基本训练和任务训练两个阶段。基本训练主要包括生存训练、航天飞行器操作、空间行走训练等。任务训练则针对特定的太空任务，如科学实验、维修任务等。在训练过程中，宇航员需要面对许多挑战，如适应失重环境、应对紧急情况、进行高强度的体力和心理训练等。\n\n用户当前问题为：太空任务的日常生活和工作环境是怎样的？'}}

test的prompt input和train的input完全相同，且train的output就为test的第一个golden result 还有不少KAgentBench的query在KAgentInstruct中出现。

另外，#18 中的问题仍然存在

{"type": "chatml", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Answer the following questions as best you can. You have access to the following tools:\n\n['API Name: video-generation\nDescription: Generate a video describing the given text input.\nRequired Arguments: \n- text (string) : User input text\n', 'API Name: text-translation-zh2en\nDescription: Translate Chinese text input to English.\nRequired Arguments: \n- text (string) : User input Chinese text\n', 'API Name: image-generation\nDescription: Generate an image based on the provided text input.\nRequired Arguments: \n- text (string) : User input text\n']\n\nUse the following format:\n\nQuestion: the input question you must answer\nThought: you should always think about what to do\nAction: the action to take, should be one of [duckduckgo_search, Wikipedia, Calculator]\nAction Input: the input to the action\nObservation: the result of the action\n... (this Thought/Action/Action Input/Observation can repeat N times)\nThought: I now know the final answer\nFinal Answer: the final answer to the original input question\n\nBegin!\n\nQuestion: 对比两种舞蹈表演风格，阐述差异和现代化发展趋势。\nThought:"}

instrunction要求的 Action: the action to take, should be one of [duckduckgo_search, Wikipedia, Calculator]\n，并没有出现在给出的api里面存在矛盾

[zzp-seeker]

非常感谢你的发现，对于第一个问题，经查验test的input和train的input并没有完全相同的情况，包括你这个例子也并没有完全相同，但确实在profile类型下存在一些相似input的情况，我们已在KAgentInstruct删除了这类数据；对于第二个问题，我们再次修正了一下数据；更新后的KAgentInstruct已发布