希望增加 Claude3.5 缓存接口兼容 - Githubissues

Calcium-Ion / new-api

AI模型接口管理与分发系统，支持将多种大模型转为OpenAI格式调用、支持Midjourney Proxy、Suno、Rerank，兼容易支付协议，可供个人或者企业内部管理与分发渠道使用，本项目基于One API二次开发。

https://nekoapi.com

Apache License 2.0

3.57k stars 825 forks source link

希望增加 Claude3.5 缓存接口兼容 #489

Open kangyiwen opened 1 month ago

kangyiwen commented 1 month ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，已确定现有版本无法满足需求
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述 ![Uploading 企业微信截图_172673594881.png…]()

Claude 现在有了 Prompt caching write 功能，可以大大降低token的费用，希望 new-api 接口兼容。

应用场景 当prompt里有点大量一样的内容，可以降低prompt的费用。