search

NetEase-Media / grps

【深度学习模型部署框架】支持tf/torch/trt/trtllm/vllm以及更多nn框架，支持dynamic batching、streaming模式，支持python/c++双语言，可限制，可拓展，高性能。帮助用户快速地将模型部署到线上，并通过http/rpc接口方式提供服务。
https://zhuanlan.zhihu.com/p/707491462
Apache License 2.0
143 stars 13 forks source link

issues

Newest
Newest Most commented Recently updated Oldest Least commented Least recently updated