search

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
18.27k stars 4.13k forks source link

如何调用Triton Inference Server的接口？ #1215

Open realcarlos opened 6 months ago

realcarlos commented 6 months ago

例行检查

功能描述 Triton Inference Server服务启动后，是在8000端口 curl -X POST localhost:8000/v2/models/vllm_model/generate \ -d '{"text_input": "What is Triton Inference Server?", "parameters": {"stream": false, "temperature": 0}}'

应用场景 one-api应该如何调用？

songquanpeng commented 6 months ago

需要进行适配，这个有待之后处理，期待 PR：https://github.com/triton-inference-server/server