Open johnlanni opened 4 months ago
contextCache 可以大幅提升长上下文的响应速度。
可以通过 Higress AI 代理插件配置，快速提供有 RAG 能力的服务，并且可以通过 Higress 的 AI Cache 插件进一步降低成本。
支持配置 cacheid，可以参考 qwen fileId 的实现
https://platform.moonshot.cn/docs/api/caching#-%E9%80%9A%E8%BF%87-message-content-%E4%BD%BF%E7%94%A8%E7%BC%93%E5%AD%98
@johnlanni assign to me
pepesi
commented
4 months ago pepesi
commented
4 months ago
Why do you need it?
contextCache 可以大幅提升长上下文的响应速度。
可以通过 Higress AI 代理插件配置，快速提供有 RAG 能力的服务，并且可以通过 Higress 的 AI Cache 插件进一步降低成本。
How could it be?
支持配置 cacheid，可以参考 qwen fileId 的实现
Other related information
https://platform.moonshot.cn/docs/api/caching#-%E9%80%9A%E8%BF%87-message-content-%E4%BD%BF%E7%94%A8%E7%BC%93%E5%AD%98