GPT Anything: 围绕GPT+CV的一系列prompt工程

[zc12345]

HuggingGPT

• arxiv: 2303.17580
• github: JARVIS

主要思路

• 有点像chatgpt-plugins的思路，给chatgpt赋能
• chatgpt-plugins
  • 将一些专用工具集成到chatgpt上，让gpt在回答的时候调用比如python工具等完成精确计算、规划行程、获取资讯等任务，让gpt扬长避短
  • 集成的插件有Expedia, FiscalNote, Instacart, KAYAK, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram, and Zapier
  • 根据官网demo，需要在使用的时候在prompt中显式指定plugin（感觉有插件污染的可能，比如插件名和一些常用词重复）
• HuggingGPT
  • chatgpt作为一个agent，根据自然语言把一些image/text/video/audio任务进行分解并分发到对应的specific model
  • 核心就是一些task parse/choose model/ response的prompt config.yaml
  • 感觉更多是一个prompt工程，但是大大拓宽了gpt的应用场景
  • 目前看起来实现的时候只是在400+ huggingface models的一个固定list里面选取，并不能实时抓取sota model
• pipeline

[zc12345]

ChatDB

• project
• arxiv
• pipeline
  • 
  • 看起来就是把一些可以检索数据库解决的问题用ChatGPT这个agent转换成一串SQL语句，并根据执行结果调整步骤，最后完成任务，并让agent LLM去summary全流程并汇报执行结果
  • stages
    • input processing：判断操作是否需要涉及memory，不需要直接LLM处理，否则使用ChatDB
    • chain-of-memory
      • 生成一系列SQL语句
      • 依次执行SQL语句，访问database增删改查
      • 根据返回结果判断是否继续，重复直至完成任务
    • response summary
• insight
  • 提出了chain-of-memory
    • 把复杂的memory操作转化成多步操作，step-by-step，充分利用LLM的推理能力
    • step-by-step操作提高了解决复杂问题的鲁棒性
• 思考
  • 感觉是一篇比较trival的paper
  • 和我预期的LLM+DB还有一段距离，理想中应该是DB储存information，LLM检索并总结，输出knowledge