search

marsishandsome / marsishandsome.github.io

Build a Jekyll blog in minutes, without touching the command line.
MIT License
1 stars 2 forks source link

数据质量监控 – Mars – Software Developer from IQIYI #5

Open marsishandsome opened 6 years ago

marsishandsome commented 6 years ago

https://marsishandsome.github.io/2018/04/DataQuality

Why - 数据质量 在数据处理过程成，可能会因为各种原因导致数据异常，数据处理链路上任意一个环节异常都可能导致最终数据异常，例如：

数据采集问题

  数据丢失
  数据重复
  数据延迟
  数据格式变动、不一致

数据处理程序问题

  程序bug导致数据产出异常
  基础设施问题导致程序运行异常

数据存储问题

  磁盘问题导致丢数据
  主重复制丢数据
HelloMin commented 6 years ago

nice！