search

data-com / discussions

http://data-com.github.io
5 stars 0 forks source link

Andreas Kretz: The Data Engineering Cookbook #19

Open emptymalei opened 5 years ago

emptymalei commented 5 years ago

Andreas Kretz 是 Bosch Rexroth 的 Big Data Platform Team Lead，他最近写了一本书叫做 The Data Engineering Cookbook (链接：andkret/Cookbook，PDF).

书中包含了作者的 podcast 的链接，通常是一些采访和案例的分析。这本书主要是用来获取一个大概的概念的，有些内容作者并没有填坑。

一点评论：

不过作者对于 Data Scientists 和 Data Engineer 的工作内容的分类，很可能是作者作为 solution expert 从部门建设的角度看。比如作者提到的 data engineer 的一些工作内容，其实也可能是 Data Scientists 应该掌握的内容。 原因很简单：现在的产业化的工具使得很多步骤也来越简单了，Data Scientists 很可能会朝两个极端发展，

  1. domain knowledge driven 的 data scientists，也就是更加接近 data analyst，但是使用的模型更加精准和复杂，更多的跟决策相关；
  2. engineering driven 的 data scientists，可能包含了 machine learning engineers，更加偏向全栈的 data scientists，更多的是跟产品相关。

所以作为 data scientists 也可以休闲时看看这本书，至少我看了对整个框架有了一个大概的了解。

emptymalei commented 5 years ago

published in https://github.com/data-com/weekly/issues/9