Open ApliNi opened 1 month ago
我尝试给 LLM 输入一些 URL, 并让它通过函数调用去"访问"这些网页内容. 但网络上和用户会输入的 URL 有时会比较复杂, 或者特别的长, 有时候这些 URL 会比系统提示词还要长, 有时这不是好事.
我们可以在输入之前提取文本中的 URL, 将它们替换为短链接再输入进去, 如果短链接服务器是本地部署的, 那么还可以在输出和函数调用时将这些短链接还原回来. 但此时 LLM 就不能通过 URL 来识别信息了, 比如它的域名或者请求参数, 或许我们还可以加一个将短链接还原回原始链接的函数来解决这个问题, 并告诉 LLM 系统输入的都是短链接.
出于成本原因, 我并不想将用户输入的图片直接放进上下文里, 我选择用一个单独的模型和它专用于图片分析的提示词去运行分析每一张图片, 并提供一个函数, 输入图片和问题, 得到分析和回答. 这时候我为每张图片分配了一个 "图片ID" 这些 ID 只有 7 个字符的长度, 由数字和小写英文字母组成, 当 LLM 需要调用一张图片时只需要输入图片 ID 即可. 同时也可以实现一个发送 ID 对应图片的能力, 这样可以轻松与画图能力进行对接.
发送图片可以使用函数来完成, 也可以规定一个方式来将 ID 转换成图片网址, 并使用 MD 的图片格式输出. 或者我们可以直接将图片 ID 替换为图片的短网址, 这样或许更好.
网址
我尝试给 LLM 输入一些 URL, 并让它通过函数调用去"访问"这些网页内容. 但网络上和用户会输入的 URL 有时会比较复杂, 或者特别的长, 有时候这些 URL 会比系统提示词还要长, 有时这不是好事.
我们可以在输入之前提取文本中的 URL, 将它们替换为短链接再输入进去, 如果短链接服务器是本地部署的, 那么还可以在输出和函数调用时将这些短链接还原回来. 但此时 LLM 就不能通过 URL 来识别信息了, 比如它的域名或者请求参数, 或许我们还可以加一个将短链接还原回原始链接的函数来解决这个问题, 并告诉 LLM 系统输入的都是短链接.
媒体
出于成本原因, 我并不想将用户输入的图片直接放进上下文里, 我选择用一个单独的模型和它专用于图片分析的提示词去运行分析每一张图片, 并提供一个函数, 输入图片和问题, 得到分析和回答. 这时候我为每张图片分配了一个 "图片ID" 这些 ID 只有 7 个字符的长度, 由数字和小写英文字母组成, 当 LLM 需要调用一张图片时只需要输入图片 ID 即可. 同时也可以实现一个发送 ID 对应图片的能力, 这样可以轻松与画图能力进行对接.
发送图片可以使用函数来完成, 也可以规定一个方式来将 ID 转换成图片网址, 并使用 MD 的图片格式输出. 或者我们可以直接将图片 ID 替换为图片的短网址, 这样或许更好.