From the Edge to the Cloud: Model Serving in ML.NET

gaocegege commented 5 years ago

http://www.markusweimer.com/files/pub/2018/2018-IEEEDataEngineering-MLNET.pdf

wydwww commented 5 years ago

看了 OSDI 19 那篇还需要看这个吗

gaocegege commented 5 years ago

@wydwww 哪篇？ OSDI 不是 18 么

wydwww commented 5 years ago

@gaocegege 错了错了 OSDI 18 的 pretzel #110 。这个老一些有什么 OSDI 版本没讲到的吗？

gaocegege commented 5 years ago

@wydwww 不知道，还没读，这篇还不在排期内 hhhh

今天打算读另外一篇

gaocegege commented 5 years ago

趁着吃饭的时间读了下这一篇论文。这一篇论文可以促进对 #110 的理解。

首先作者对现在的 Serving System 进行了一个分类，分为黑盒系统和白盒系统。黑盒系统中又分为两类，其中第一类就是类似 TensorFlow Serving/TensorRT Inference Server/GraphPipe 等这一类，也就是利用一个 Serving System 来把模型给部署起来。另外一类就是直接通过 import 的方式，把模型作为依赖的方式 import 到应用中。最后一种也就是 #110 的那种，白盒系统。按道理白盒系统也是应该可以再细分两类，一类白盒 Serving System，一类是白盒 Direct Import。但是在文中只提到了后面这种，因为在 ML.Net 里就是白盒 Direct Import 这种。

首先说，第一种黑盒为什么不好，比如用容器的方式，会引入一定的 overhead。以及基于 RPC 或者是 REST API 的方式会引入网络，造成一定的 overhead。最后是黑盒导致无法优化

再说第二种黑盒为什么不好。第二种也是会导致无法优化。多说一下，微软之所以喜欢 Direct Import 跟它的业务是有关系的。做操作系统，Office，能跑在本地自然最好。

所以文章提出了第三种，白盒。白盒就是 #110 做的事情，建议看 #110 更合适

dyweb / papers-notebook

From the Edge to the Cloud: Model Serving in ML.NET #163