建议添加modelbox-serving的使用说明

modelbox-ai / modelbox

A high performance, high expansion, easy to use framework for AI application. 为AI应用的开发者提供一套统一的高性能、易用的编程框架，快速基于AI全栈服务、开发跨端边云的AI行业应用，支持GPU，NPU加速。

https://modelbox-ai.com

Apache License 2.0

133 stars 39 forks source link

Open luoyangustc opened 1 year ago

luoyangustc commented 1 year ago

看可执行文件里有modelbox-serving的二进制，但是book的文档里没找到使用方法，可以增加文档介绍么？

pymumu commented 1 year ago

这两天增加。可以问一下你是什么场景使用modelbox-serving吗？

luoyangustc commented 1 year ago

ok, 看二进制名字应该是在部署推理服务时使用，我正好也是想部署服务使用，但是没找到使用文档说明。

pymumu commented 1 year ago

这个是模型serving的，类似TF-Serving，如果部署服务，就是modelbox进程就可以。

luoyangustc commented 1 year ago

嗯嗯我理解两个应该都可以部署推理服务的，底层是一样的么？ serving 是封了一个web的框架？

pymumu commented 1 year ago

serving只是简化了modelbox图的配置，serveing是基于modelbox进程的。 modelbox进程里面集成了web框架，可以对外提供REST-API服务。具体可以看hello-world的例子