阿里做了十年数仓也才打通整个数据质量管理,不是一个两个数仓的人说要管质量就能管的了的。。。。方方面面都得考虑
数据质量管理

数据质量控制环节

数据质量管理

1 数据生产环节

业务开发数仓说不上话,现有业务后有数仓,起初可能考虑不到,业务变化了等
数据质量管理

2 采集同步阶段

尽量统一标准,控制好边界
数据质量管理

3 数据模型设计

维度退化可能造成数据不一致
=>存好历史状态,保证元数据字典完整,尽早计算下面就不会各算各的了

数据质量管理

4 ETL开发 & 指标体系

监控机制才能保证数据的及时性
统一口径定义,这个事也不是一个小技术人员就能搞定的,嗨,但是也努力吧。
指标管理系统,就类似于标签系统吧,可以检索,有业务口径有it口径的这种。
数据质量管理

5 事后管理:周期性质量监控

这一步是自己搞得定的,比如四点任务都跑完了,对于一些核心的指标,五点跑一下这种校验任务,早上来了就能最先发现问题了。
交叉校验需要业务敏感性,类似于浏览下降,但是成交猛增,这就可能不太对。
数据质量管理

元数据管理

数据质量管理
数据质量管理

案例

数据质量管理
用源库的元数据(schema_info)和hive的元数据进行对比,数据类型,字段等,就能知道源库数据变化情况了。
数据质量管理
依赖关系,这个atlas现在可以搞定了,甚至是字段级别的。
数据质量管理
数据质量监控
数据质量管理

相关文章:

  • 2021-04-09
  • 2022-01-14
  • 2021-09-20
  • 2021-10-29
  • 2022-01-13
  • 2021-12-27
猜你喜欢
  • 2021-12-27
  • 2021-05-06
  • 2021-11-21
  • 2021-11-15
  • 2021-10-05
  • 2021-09-29
  • 2021-11-28
相关资源
相似解决方案