支持llama3么，有个小程序接入模型接口，不包括llama，想用openai解决，第三方买的llama APPI

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

https://openai.justsong.cn/

MIT License

16.2k stars 3.74k forks source link

支持llama3么，有个小程序接入模型接口，不包括llama，想用openai解决，第三方买的llama APPI #1419

Open onlyhuman028 opened 2 months ago

onlyhuman028 commented 2 months ago

例行检查

[ ] 我已确认目前没有类似 issue
[ ] 我已确认我已升级到最新版本
[ ] 我已完整查看过项目 README，已确定现有版本无法满足需求
[ ] 我理解并愿意跟进此 issue，协助测试和提供反馈
[ ] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述

应用场景

QAbot-zh commented 2 months ago

llama3 支持的

onlyhuman028 commented 2 months ago

收到，已经完成部署，openai和grok 测试都通过。但是有一个 deepinfra.com的账号，购买了key 。在oneapi 的接口怎么填都通不过测试。我填的是 https://api.deepinfra.com/v1。官方指导文件：https://deepinfra.com/meta-llama/Meta-Llama-3-70B-Instruct/api?example=js-text-gen。谢谢先

onlyhuman028 commented 1 month ago

是不是模型名称问题

QAbot-zh commented 1 month ago

看了下例程，是调用格式跟OpenAI不匹配，得让oneapi适配这个渠道了

onlyhuman028 commented 1 month ago

看了下例程，是调用格式跟OpenAI不匹配，得让oneapi适配这个渠道了

哦，谢谢。您的意思是需要oneapi 官方适配一下deepinfra.com ，oneapi的用户才能正常用？

onlyhuman028 commented 1 month ago

tanlentboy commented 2 weeks ago

确实, 我也遇到这个问题了. deepinfra.com 上有最新的 nvidia/Nemotron-4-340B-Instruct 模型. 但是在oneapi上确实无法使用.