读书笔记 - 《数据中台：让数据用起来》

Cui1994 commented 4 years ago

豆瓣：https://book.douban.com/subject/34907496/

这本书主要介绍了数据中台的概念以及如何建设，总体更偏上层，没有细扣实现细节。适合有过一定数据中台开发经验的人看，很容易找到自己做的东西位于数据中台的哪个部分。这里只记录数据中台的概念与架构部分，书中很多偏方法论的东西，如战略与组织架构设计，这里没有记录。

Cui1994 commented 4 years ago

一些概念

什么是数据中台

不仅仅是技术，也不仅是产品。
是一套「让企业的数据用起来」的机制，是一种战略选择和组织形式，依据企业特定的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据编程资产服务于业务的机制。

数据中台的核心能力

汇聚整合：解决组织壁垒形成的数据孤岛。
提纯加工：数据资产化，建立统一的数据标准和质量体系。
服务可视化：让相关人员能够快速开发数据应用。
价值变现：提供单个部门或单个业务单元无法提供的数据能力（数据洞察、搜索、评估、治理）。

数据中台的价值

1、业务价值

以客户为中心，洞察驱动企业业务。
海量数据为基础，大规模商业创新。
盘活全量数据，持续升级数据资产，确保竞争优势。

2、技术价值

建立多场景数据处理的能力（离线批处理 Hadoop/Spark，实时流处理 Storm/Spark Streaming/Flink，ad-hoc 即席计算 Greenplum/es/Impala，高并发场景在线计算 MySQL/Redis）。
丰富数据标签，降低管理成本。
支持跨主题域（数仓）访问数据。
数据快速复用而非复制。

Cui1994 commented 4 years ago

Q1: 数据中台与大数据平台的区别？

大数据平台更关心技术层面的事情，包括研发效率、平台的大数据处理能力等，针对的是技术人员。
数据中台的核心是数据服务能力，要结合场景，通过服务直接赋能业务应用。
大数据平台是数据中台的技术基础。

Cui1994 commented 4 years ago

数据中台架构

通过数据汇聚、数据开发模块建立企业数据资产。
通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于业务。
通过数据安全管理、数据运营体系保障数据中台长期健康发展。

Cui1994 commented 4 years ago

数据汇聚

常见数据采集、汇聚类型包括：线上数据采集（埋点）、线下数据采集（硬件数据）、网络数据采集（爬虫）、内部数据汇聚（数据库转储、日志文件）。
依据数据组织形式不同，数据分为结构化数据（数据库表、Excel）、半结构化数据（Json、XML、文本）、非结构化数据（图片、视频、音频）。
依据时效性和应用场景不同，数据汇聚分为离线（全量、增量同步）和实时（增量日志、通知消息）。
数据建设中一般不推荐 ETL（Extract-Tranform-Load）方式汇聚数据，而是 ELT 方式，即先转储再转换，保留源数据。
常见的数据汇聚工具：Canal、Sqoop、DataX
数据存储选择：分布式存储（HDFS）、NoSQL（HBase、MongoDB）、云数据库。

Cui1994 commented 4 years ago

数据开发

数据计算能力的四种类型：
- 批处理（MapReduce、Hive、Spark）海量数据 ETL
- 流处理（Flink、Spark Streaming、Storm）流式 ETL/流式报表/监控报警/在线指标系统
- 在线查询（Redis、MySQL、ES）画像服务/搜索/圈人场景
- 即席分析（ad-hoc）交互式数据分析/群体对比分析 AB Test
离线开发：作业调度（时间调度/依赖调度）、基线控制（告警/优先级）、代码校验、权限控制、多环境级联
实时开发：元数据管理（Json/AVRO/Protobuf）、SQL 驱动、组件化开发
算法开发：可视化建模 、Notebook 建模（Jupyter）、数据集管理（数据接入/数据标注/数据探查）、核心算法组件（数据接入/数据预处理/特征工程/模型训练）、多算法框架支持

Cui1994 commented 4 years ago

数据体系建设

数据分层：贴源数据层（ODS）、统一数仓层（DW）、标签数据层（TDM）、应用数据层（ADS）。

ODS 层

通过 ELT 将原始数据抽取到数据中台 ODS
将半结构数据转化为结构化数据，非结构化数据不保留，只保留描述（地址、名称等）
命名规则：ODS_业务简称_业务系统表名

DW 层：又细分为明细数据层（DWD）、汇总数据层（DWS）

以维度建模为理论基础，定义数据域、业务过程、维度、原子指标、修饰类型、修饰词、时间周期、派生指标。进而确定维度表、事实表的模型设计。
原子指标：针对某一业务事件的度量，有明确的业务含义，不可再拆分（如支付金额）。
原子指标 + 时间修饰词 + 其他修饰词 = 派生指标（如最近一天北京买家的支付金额）。
一致性指标：描述原子指标、修饰词、时间周期和派生指标的含义、类型、命名、算法，是事实表模型的设计来源。
业务过程（下订单、银行转账）产生度量，从而被转化为最终事实表中的事实。
粒度：数仓数据的细化或综合程度。
维度表：
- 维度是观察事务的角度，描述与「谁、什么、哪里、何时、为什么、如何」（5W1H）有关的事件。对业务过程进行分析可以提取维度，如「小王在早上在小卖部花费5元购买了一个面包」可以提取时间维度（早上）、地点维度（小卖部）、商品维度（面包）。
- 维度表的核心是确定纬度属性（通常很多），维度表通常比较宽，是扁平型非规范表：1）包含大量粒度的文本属性；2）反泛式，将关联维度的属性也合并到主维属性中。
- 维度表设计：1）选择维度；2）确定主维表；3）梳理关联维度表；4）定义纬度属性。
事实表：
- 事实表不跨数据域，对应数据域下一个或多个业务过程。
- 事实表包括：1）键值部分主键/外键； 2）描述业务过程的事实度量；3）冗余一部分维度属性。
- 在事实表中，粒度与主键等价。
- 业务过程和事实表是多对多的关系。
- 事实表设计：1）确定业务过程；2）定义粒度；3）确定维度；4）确定事实；5）冗余维度属性。

TDM 层

标签数据层是面向对象建模，把一个对象各种标识打通归一，把跨业务板块、业务域的对象数据在同一个粒度基础上组织起来打通到对象上。
可细分为属性标签、统计标签、算法标签。
对象可分为人、物、关系三类。
同一个对象在多个业务系统中标识 ID 可能不同，需要打通（ID-Mapping），确定 UID 作为主键。
标签类目：根目录/一级目录/二级目录/三级目录/标签。
标签是对客观世界实体的度量或描述，是业务需求的数据呈现。
- 数据转化为标签的过程为标签化。
- 对对象具体属性、特征、信息、内容的字段级刻画，是标签。与某张表中的字段相对应，如「近一天的报修工单量」、「近三天的报修工单量」。
- 对对象具体属性、特征、信息、内容的具体取值是标签值。标签值有些是可以枚举的离散值，有些是不可枚举的连续值。往常习惯给别人打标签、贴标签的动作，其实不是在设计标签，而是在设计标签值。
对于标签表来说没有事实表和维度表之分，所以标签表又称为标签融合表。
- 按组织形式分为纵表：类似 K-V 表，每行表示一个标签（ID/标签名/标签值）；横表：每行表示一个对象（ID/标签一/标签二/...）。
- 推荐以横表构建标签表，按标签类目进行标签拆分。

ADS 层

应用数据层是按照业务实际需要，组织已经加工好的数据以及一些面向业务的个性化指标加工。
强业务驱动，由业务人员负责建设。

Cui1994 commented 4 years ago

数据资产管理

数据标准管理：重点在于可落地。
数据模型管理：解决架构设计和数据开发的不一致。
元数据管理：元数据是描述数据的数据，细分为技术元数据（库表结构/字段约束/数据模型）、业务元数据（指标口径/业务术语）、管理元数据（数据所有者/数据安全等级）。
- 包括元数据增删改查、变更管理、对比分析、统计分析。
- 应用：元数据检索与查看、血缘与影响性分析、冷热性分析。
主数据管理：主数据指企业核心实体数据，应用于多个业务线，跨各个业务部门的系统的、高价值的基础数据。
数据质量管理：准确性、完整性、一致性、有效性、唯一性、及时性、稳定性、连续性、合理性。
数据安全管理
数据价值管理
数据共享管理
生命周期管理：不可恢复数据（原始数据）永久保留，冷数据用低价存储或压缩；可恢复数据灵活调整。
标签管理
- 标签与画像：画像是某个对象从各个标签维度的具体内容描述。如某人群 80% 个体还款能力高，还款能力是标签，高是针对这个群体在还款能力方面的画像。
数据资产门户：数据资产地图、数据资产目录，数据资产梳理、盘点、组织，为管理者、开发者、使用者提供多层次、多视角的资产视图。

Cui1994 commented 4 years ago

数据服务体系建设

把数据编程一种服务能力，通过数据服务让数据参与到业务中。

数据服务是对数据进行计算逻辑的封装（过滤分析、多为查询和算法推理），生成 API 服务，上层数据应用可以对接数据服务 API，让数据快速应用到业务场景中。
类目分为基础数据服务、标签画像服务、算法模型服务。
常见的数据服务：查询服务、分析服务、推荐服务、圈人服务。
常见的数据应用：数据大屏、数据报表、智能应用（个性化推荐、精准营销）。

数据中台运营

数据安全和质量是中台可持续的基础，降本提效是打造影响力的关键。

数据质量评估：源头质量、加工过程质量、使用价值质量。
数据资产安全管理：分级分类管理、脱敏加密、监控审计。
数据成本运营：
- 存储资源：细分数据源类型，优化存储成本。
- 计算资源：避免重复计算/冗余计算/低价值计算/不合理调度。
- 成本账单：建立成本监管机制，细化责任人，排名、告警并给出优化建议。

数据安全管理

贯穿数据生命周期的数据安全管理体系。

生命周期：数据生产、存储、传输、使用、共享、销毁。
管理手段
- 统一安全认证和鉴权：Kerberos & LDAP / SSL。
- 资源隔离：多租户
- 加密 & 脱敏：敏感数据识别与脱敏
- 数据共享安全：水印
- 数据容灾备份

Cui1994 / note