Open cjuexuan opened 4 years ago
最近疫情严重，大家千万注意安全，保护好自己。这段时间我一直在陕西，刚好有大段的时间可以用来研究一些业务上的概念，这里整理下最近一些数据业务上的思考，欢迎大家探讨交流。
我理解的数据的价值体现就是支撑业务，帮助业务人员做好决策，辅助业务人员做好产品。而计算、调度和可视化这些都只是手段和过程，不注重过程的结果是低效的，甚至是错误的，反之亦然，只注重自己手头的事情也会限制我们的发展，让我们缺乏大局观，缺乏认识到业务的痛点，当然也很难和业务共赢了。有几个现象都反应这种亚健康状态：业务部门关键时候想要数据，但是数据迟迟不能给到，究其原因，数据的采集甚至都没做好。另一种现象是数据部门制定一大堆红线，业务部门叫苦不迭，甚至向上级投诉数据部门制约了业务发展。这都是反面的教材，那我们今天就梳理下如何才能萃取数据的最大价值，让数据成熟度不断提高
今天我会介绍四种角色：业务人员、数据分析师、数仓开发、数据平台工程师，其中重点是前面三者，我自己的身份是平台工程师，这一块我会单独提一下
首先，巧妇难为无米之炊，一个新的业务线（这里把不在既有数仓体系中的业务线就叫做新的业务线）要有数据的第一步就是做好数据的采集，有了正确的数据才能有后面的故事，这个阶段就是采集期，在这个阶段，业务人员需要做的事情就是接入埋点体系，将事件落盘，为后续的分析做好准备工作。一些成熟的公司会有无代码埋点或者叫可视化埋点。，接入之后配套的可视化分析系统能支撑这个新晋业务查看一些通用的基础的指标，比如事件分析、留存分析等，另外也能在这个阶段解决比如公司oneID这种大的数据战略。这个阶段是对于单个产品来说是快速试错的阶段，所以分析师和数仓并不需要过早的介入进去，跑一跑还能活下来的产品才能进入下一阶段。当然借助公司的一些技术体系，如数据计算平台、数据可视化平台等，开发和产品也能自己做一些简单的数据分析。
如果你度过了采集期，说明这个业务模式还是比较成功的，那么恭喜你，你即将进入成长期。在这一阶段，需要多方协同配合。首先，作为最理解业务的业务方，需要给分析师和数仓介绍业务背景和一些宏观的目标。这里强调一点，分析师不是取数工具，取数可以用更低成本的方式去做，我理解分析师的主要职责还是发现问题，挖掘指标，提供决策建议，所以这一阶段业务不要直接陷入到我需要分析师给我拉一个非常具象的指标。分析师需要根据聆听的背景知识和宏观目标，做好业务的数据域划分，整理好需要的指标，另外和业务沟通好一些统计的口径。接下来是数仓，数仓根据分析师的需求，同时和业务沟通好一些数据获取途径，整理好数据模型，准备好etl任务，把分层数仓搭建好。当数仓的etl任务有条不紊的运行起来时，就到了这一阶段享用劳动果实的时候了，此时分析师可以大展身手，给业务输出一些有挖掘意义的看板，有针对性的一些分析报告了。同时，一些统计的任务也可以直接由数仓提供给业务，供业务在C端使用（如榜单类的指标）。
如果你的业务还活着，这个时候就进入了成熟期。首先在这个时候你的数仓是基本成体系了，该有的数据都有，另外在采集期和成长期也积累了很多有意义的数据资产，如一些分析报告和数据看板。这个阶段业务最需要的就是跑的更快一点，跑的更稳一点，对于快和稳都需要强力的数据支撑，证明你没有走弯路，指导你完成一些弯道超车，此时可能推荐系统、画像系统等个性化系统准备进场。随着前期的磨合，大家有着一致的业务目标，跨部门的协作在这一阶段也应该变得非常融洽了，这里业务需要做的就是利用好数据运营好产品，分析师需要做的是搭建明确的metrics体系，帮助业务发现问题，并且及时给出建议，而数仓需要做的是协同分析师和业务，维护好任务脚本，并且以开放的心态迎接变化。这一阶段的果实就是最终的业务产出了。
我们用表格的方式整理下：
从一个旁观者的视角，我描述了我的合作伙伴们在业务的各个阶段需要做些什么，并且能收获什么，那么作为在背后支持他们的数据平台开发，我们做了些什么。在采集期，我们的可视化埋点和分析系统简化了业务接入数仓的流程，并且能给到一些固定的数据分析工具，同时我们的数据计算平台能支撑业务做一些简单的数据校验和数据分析。在成长期，元数据系统可以帮助数据人员加快数据指标定义，任务调度系统全力保障着etl任务的运行，可视化平台帮助分析师快速搭建定制化看板。在业务的成熟期，画像系统、推荐系统等个性化系统的介入，进一步加速了业务的发展。对于我们来说，理解好业务人员的痛点可以帮助我们迭代数据产品，不然你做了一个yy出来的工具，很难获得用户的真正认同。治理好用户，让真正的用户享受最好的服务，而不是纯粹搞一大堆红线规则，限制用户的使用，而我们的用户，就是上面那一群人：）
一般的红线规则都是啥样的？
a49a
commented
3 years ago a49a
commented
3 years ago
引子
最近疫情严重，大家千万注意安全，保护好自己。这段时间我一直在陕西，刚好有大段的时间可以用来研究一些业务上的概念，这里整理下最近一些数据业务上的思考，欢迎大家探讨交流。
数据的价值
我理解的数据的价值体现就是支撑业务，帮助业务人员做好决策，辅助业务人员做好产品。而计算、调度和可视化这些都只是手段和过程，不注重过程的结果是低效的，甚至是错误的，反之亦然，只注重自己手头的事情也会限制我们的发展，让我们缺乏大局观，缺乏认识到业务的痛点，当然也很难和业务共赢了。有几个现象都反应这种亚健康状态：业务部门关键时候想要数据，但是数据迟迟不能给到，究其原因，数据的采集甚至都没做好。另一种现象是数据部门制定一大堆红线，业务部门叫苦不迭，甚至向上级投诉数据部门制约了业务发展。这都是反面的教材，那我们今天就梳理下如何才能萃取数据的最大价值，让数据成熟度不断提高
数据成熟度和职责分工
今天我会介绍四种角色：业务人员、数据分析师、数仓开发、数据平台工程师，其中重点是前面三者，我自己的身份是平台工程师，这一块我会单独提一下
首先，巧妇难为无米之炊，一个新的业务线（这里把不在既有数仓体系中的业务线就叫做新的业务线）要有数据的第一步就是做好数据的采集，有了正确的数据才能有后面的故事，这个阶段就是采集期，在这个阶段，业务人员需要做的事情就是接入埋点体系，将事件落盘，为后续的分析做好准备工作。一些成熟的公司会有无代码埋点或者叫可视化埋点。，接入之后配套的可视化分析系统能支撑这个新晋业务查看一些通用的基础的指标，比如事件分析、留存分析等，另外也能在这个阶段解决比如公司oneID这种大的数据战略。这个阶段是对于单个产品来说是快速试错的阶段，所以分析师和数仓并不需要过早的介入进去，跑一跑还能活下来的产品才能进入下一阶段。当然借助公司的一些技术体系，如数据计算平台、数据可视化平台等，开发和产品也能自己做一些简单的数据分析。
如果你度过了采集期，说明这个业务模式还是比较成功的，那么恭喜你，你即将进入成长期。在这一阶段，需要多方协同配合。首先，作为最理解业务的业务方，需要给分析师和数仓介绍业务背景和一些宏观的目标。这里强调一点，分析师不是取数工具，取数可以用更低成本的方式去做，我理解分析师的主要职责还是发现问题，挖掘指标，提供决策建议，所以这一阶段业务不要直接陷入到我需要分析师给我拉一个非常具象的指标。分析师需要根据聆听的背景知识和宏观目标，做好业务的数据域划分，整理好需要的指标，另外和业务沟通好一些统计的口径。接下来是数仓，数仓根据分析师的需求，同时和业务沟通好一些数据获取途径，整理好数据模型，准备好etl任务，把分层数仓搭建好。当数仓的etl任务有条不紊的运行起来时，就到了这一阶段享用劳动果实的时候了，此时分析师可以大展身手，给业务输出一些有挖掘意义的看板，有针对性的一些分析报告了。同时，一些统计的任务也可以直接由数仓提供给业务，供业务在C端使用（如榜单类的指标）。
如果你的业务还活着，这个时候就进入了成熟期。首先在这个时候你的数仓是基本成体系了，该有的数据都有，另外在采集期和成长期也积累了很多有意义的数据资产，如一些分析报告和数据看板。这个阶段业务最需要的就是跑的更快一点，跑的更稳一点，对于快和稳都需要强力的数据支撑，证明你没有走弯路，指导你完成一些弯道超车，此时可能推荐系统、画像系统等个性化系统准备进场。随着前期的磨合，大家有着一致的业务目标，跨部门的协作在这一阶段也应该变得非常融洽了，这里业务需要做的就是利用好数据运营好产品，分析师需要做的是搭建明确的metrics体系，帮助业务发现问题，并且及时给出建议，而数仓需要做的是协同分析师和业务，维护好任务脚本，并且以开放的心态迎接变化。这一阶段的果实就是最终的业务产出了。
我们用表格的方式整理下：
岁月静好，背后的人
从一个旁观者的视角，我描述了我的合作伙伴们在业务的各个阶段需要做些什么，并且能收获什么，那么作为在背后支持他们的数据平台开发，我们做了些什么。在采集期，我们的可视化埋点和分析系统简化了业务接入数仓的流程，并且能给到一些固定的数据分析工具，同时我们的数据计算平台能支撑业务做一些简单的数据校验和数据分析。在成长期，元数据系统可以帮助数据人员加快数据指标定义，任务调度系统全力保障着etl任务的运行，可视化平台帮助分析师快速搭建定制化看板。在业务的成熟期，画像系统、推荐系统等个性化系统的介入，进一步加速了业务的发展。对于我们来说，理解好业务人员的痛点可以帮助我们迭代数据产品，不然你做了一个yy出来的工具，很难获得用户的真正认同。治理好用户，让真正的用户享受最好的服务，而不是纯粹搞一大堆红线规则，限制用户的使用，而我们的用户，就是上面那一群人：）