【有奖征文】DSS + Linkis + Qualitis 在哗啦啦数据中台的应用与实践

lihongyu666 commented 4 years ago

一、应用场景

哗啦啦数据中台项目旨在为餐饮行业提供一站式的数据处理平台。满足数据接入、数据清洗、数据加工、质量校验、数据服务、数据输出的数据应用开发全流程场景需求。数据中台整体架构如下: 其中Qualitis应用于数据质量系统提供规则引擎。linkis为数据质量以及开发系统调试功能提供计算引擎支持

二、解决的问题

1、jdbc引擎如执行运行小时级的hive sql时。元数据库中的任务状态不更新问题 2、jdbc引擎打通数据源管理系统，支持数据源配置 3、打通中台项目统一认证服务 4、支持参数解析（包括时间变量） 5、Qualitis增加告警以及定时调度功能

三：DSS在哗啦啦的最佳实践

1、开发平台系统

开发系统集成了大数据主流工具，通过拖拉拽dag生成数据处理流程，集代码开发、代码审核、任务监控告警、工作流版本、权限控制等功能。能满足用户大部分数据处理场景，开箱即用，简化用户开发流程，降低技术门槛。在最初，用户写完脚本后，验证脚本正确性需通过提交代码审核之后真正执行任务，或者用第三方开发工具验证如zeppelin。用户反愦验证流程很不便利。在引入Linkis以及DSS后，开发平台基于DSS的前端做了二开，使用了他的脚本运行功能，提交任务到Linkis，并推送任务进度以及运行日志到浏览器，简化了用户的验证流程，优化了用户交互。完善了开发系统之前缺少的调试功能。开发系统部分界面展示

2、数据质量系统

在开发系统上经过的接入、清洗、加工、输出一系列处理后，用户需要对数据质量进行评估，此时可用到我们的数据质量系统。我们使用Qualitis作为质量的后端服务。前端重新开发了一套符合中台UI风格的系统。在Qualitis基础上，我们增加了定时调度以及告警，满足用户即时检测或者定时调度检测，并支持配置告警策略，即时通知到用户检测结果。