如何主动发现数据质量问题,不是等待业务部门提出,需要做哪些监控的手段,谢谢。

0
已邀请:
3

seng - 从事BI、大数据、数据分析工作 2015-10-08 回答

数据质量和业务逻辑有很大关系,我考虑主要分3类:
1.ETL过程质量问题
   汇总表不一致,ETL过程异常等
2.业务数据缺失
   主要的一些主数据啊或者是需要同步或上传的数据,应该有而没有,造成数据异常,这个需要业务执行上改善。
3.业务数据不一致
  多个业务系统需要同步但是由于各种原因,导致多份数据不一致,这部分还是需要业务系统改善。

具体监控可以根据业务规则做监控报表, 不过和BI报表一样需要有人看,特别是业务数据上本生的问题,这个就需要业务分工了。
2

逆光 - BI爱好者 关注:数据学习社区 公众号获取更多资料 2015-10-08 回答

数据质量问题一般都是通过前期验证方式来进行的,后期一般都是通过决策系统与应用系统界面对比,或者抽取一个时间段的数据进行计算比对出来的,除非有很大差别,否则不是很好监控。确认计算逻辑没问题,也可以在ODS层搞一个视图缓冲区,进行随时的查看。

要回复问题请先登录注册