Automatically Tracking Metadata and Provenance of Machine Learning Experiments

dyweb / papers-notebook

:page_facing_up: :cn: :page_with_curl: 论文阅读笔记（分布式系统、虚拟化、机器学习）Papers Notebook (Distributed System, Virtualization, Machine Learning)

Apache License 2.0

2.15k stars 251 forks source link

Open gaocegege opened 5 years ago

gaocegege commented 5 years ago

AWS 的工作，一个 workshop

gaocegege commented 5 years ago

文章是讲 AWS 设计了一个系统：

它主要做的事情就是利用自己实现的 client，能够从不同的 framework 里提取出 metadata，然后通过 rest API 来在下面的 data model 里进行 CRUD。数据模型如下：

其中对于 MXNet 的支持是利用 symbol.tojson() 来获取神经网络的一个中间表示，然后经过一些变换，存到数据库里去的。

效果如下：