数据质量

数据质量

0
投票
2
回答
1292
浏览
1
投票
5
已解决
3684
浏览
9
推荐
3937
浏览

【原创】数据质量及数据画像介绍(Data Profiling & Data Quality Check Introduction)

感谢凯捷技术有限公司技术总监龚总的点拨,让本人发现在经验及涉及的技术领域的不足,这才有了今天这篇文章。同时,感谢天善智能的seng、BAO胖子、BIWORK、要选就选S型对“ETL之前如何进行数据质量检测”这一话题的...

胡艺友_数据胡 发表了文章 • 2016-03-14 01:57

0
投票
0
回答
1254
浏览
0
投票
1
已解决
1319
浏览
7
推荐
2828
浏览

BI系统数据质量解决的思考

数据质量这块深有体味,曾经开发实施ERP多年,接过很多ERP业务需求并深入了解过业务,BI报表的需求及开发等,有关数据质量分几种:1.系统BUG问题:   产生原因:A.开发测试验收流程不规范,遵循开发加...

农夫 发表了文章 • 2015-10-27 13:09

0
推荐
1979
浏览

数据分析系统助力服装企业数据质量提升

       大多数的BI系统或数据分析系统的建设,常会受到两个方面问题的困扰,数据缺失与数据质量问题。而这两个问题,在服装行业数据分析类系统建设过程中,更是尤为突出。为了提升数据分析的...

andrea_zhou 发表了文章 • 2015-09-26 17:49

条新动态, 点击查看
农夫

农夫 回答了问题 • 2015-10-27 13:05 • 5 个回复 不感兴趣

如何保证数据质量?

赞同来自:

数据质量这块深有体味,曾经开发实施ERP多年,接过很多ERP业务需求并深入了解过业务,BI报表的需求等,有关数据质量分几种:
1.系统BUG问题:
 产生原因:A.开发测试验收流程不规范,遵循开发加自测=》测试=》业务需求部门验收的流程操作,减少这块引起的数据... 显示全部 »
数据质量这块深有体味,曾经开发实施ERP多年,接过很多ERP业务需求并深入了解过业务,BI报表的需求等,有关数据质量分几种:
1.系统BUG问题:
 产生原因:A.开发测试验收流程不规范,遵循开发加自测=》测试=》业务需求部门验收的流程操作,减少这块引起的数据质量问题。
        B.开发过程中,可能版本控制的问题,对公用的过程,我修改后另外的开发人员进行覆盖等等问题
 解决方案:A.规范开发测试及版本控制流程,没有任何捷径所走,上面几个朋友都有提到,对已发生的问题开发人员进行修改;
        B.曾经使用过一套平台化开发的ERP系统,主要原因是开发人员的进进出去,修修改改,数据质量经常不准确,后来通过3个月的时间,把所有单据明细与库存明细帐、销售明细账、期间表、即时库存、成本表等等所有的过账逻辑在晚上进行修复重算,再更新重算后正确的数据,一举解决了困扰公司几年老大难的问题。但这工作需要对业务、数据结构、ERP业务流程、开发能力都比较强的人员来操作,才能保证重算的准确。
2.分析指标统一口径问题:
 产生原因:在一公司做BI系统的时候,指标口径不统一,比如像成本有:门店成本、销售成本、加成成本等等好几个,每次开会的时候,采购部、销售中心、财务中心、市场部等等拿出来的数据可能名称一样,但数据都不一样;
 解决方案:我想这一块还是比较好解决的,只要先统计整理公司所有的指标,然后把业务部门请上来,统一指标名称、指标解释、计算公式等,就不会产生同一个人,这个叫李老四,那个叫李二狗。
3.企业不同的时期业务系统处理方式上逐步优化产生的数据差异:
 产生原因:企业在不同的发展时间,系统处理会有所差异,特别是二开比较多的公司
 解决方案:A.后续规范的数据与前面不规范的数据,看是否可以通过相对应的关系,进行整理统一;
        B.如果上述都不能处理的话,我想还是对前面的一些数据进行分开统计分析,否则两者不一样统计了来会误导业务人员
        以前在一通讯行业工作的时候,原来在联通新用户(存费送机、购机送费、单开户)、老用户等等以前都是通过一个或几个字段的状态标志进行区别,后来业务发展,发现这样太复杂,后来做了一个政策层级的分类,统一规范。在处理前面数据的时候,对以前的数据进行修复处理,以保证与后续的数据统计方式一致。否则区别两个统计方式。
4.因为实际业务过程中无法规范而产生的数据质量问题:
 问题举例:在一服装制造行业工作的时候,来统计产品的实际工时,因为是A产品完工、B产品新生产,在这一交接阶段,同时进行生产,无法正确的统计实际的生产工时,这是正常的实际情况。
 解决方案:后与业务部门沟通,将当天的实际工时根据当天完工产品的理论工价来按比例分配,这样对统计分析虽然会有不真实的情况,但也是能相对真实。
 所以碰到问题的时候,可以是否可以折中处理,只要不完全违背统计分析的原则,还要以考虑相应的处理方式。
 说了这么多废话,希望可以在实际工作中引起一些思考。
天善小编

天善小编 回答了问题 • 2015-11-08 11:57 • 1 个回复 不感兴趣

数据准确性对数据分析的影响?

赞同来自:

Gaea: BI要做到啥程度算好啊?我们公司也有,但是数据不准,也没人看,还是要靠每天导数据汇总
杨烈兵: 数据都不准,做BI有意思吗?
刘劲: 数据不准就失去数据本身的意义了,数据不准是致命的。没人看真的就失去意义了。
百分百: 有意义。就好像你之前... 显示全部 »
Gaea: BI要做到啥程度算好啊?我们公司也有,但是数据不准,也没人看,还是要靠每天导数据汇总
杨烈兵: 数据都不准,做BI有意思吗?
刘劲: 数据不准就失去数据本身的意义了,数据不准是致命的。没人看真的就失去意义了。
百分百: 有意义。就好像你之前在商家开了一个会员卡。填写了名字为A,虽然A不存在,但你的消费记录还是有意义的。
刘劲: 如果是年龄、收入等这些数据呢?这些一般都不准的吧
百分百: 可以通过购物记录,消费习惯,品牌偏好等等纠正的呀。但可以自己预估一个区间贴标签。
Suky: 先有数据——数据标准——数据治理——数据应用——数据价值
Kimi: 应该是业务部门的口径不一致 才不用~~
春宇: @Gaea 每天系统一挂就有一万个电话过来骂娘,基本上你们BI就做的很好了。
Seng: 春宇,说的太对了
春宇: 大国企,特点是,系统挂了一个月,没人知道,连管理员都不知道
百分百: @春宇 这个标准必须赞。
涉及到数据清洗,和数据校验。
监控是按照业务规则来执行程序,进行监控。
数据清洗,主要是对录入数据按照业务规则,比如对数据缺失值做清洗,对数据范围值域做清洗,非数值清洗,非日期值做清洗,包括空格清洗,等 使数据标准化。
垃圾数据也就是脏数据的处理:
对于录入错... 显示全部 »
涉及到数据清洗,和数据校验。
监控是按照业务规则来执行程序,进行监控。
数据清洗,主要是对录入数据按照业务规则,比如对数据缺失值做清洗,对数据范围值域做清洗,非数值清洗,非日期值做清洗,包括空格清洗,等 使数据标准化。
垃圾数据也就是脏数据的处理:
对于录入错误的数据,如果有数据补录平台,则对错误数据进行界面跳出窗口提示具体哪些数据错误。业务会根据错误信息,进行数据修正,重新导入。
具体实现方案:

地址连接 http://f.dataguru.cn/thread-587409-1-1.html   是目前做的一个清洗存储过程实现案例可参照。

如有疑问可及时沟通。
9
推荐
3937
浏览

【原创】数据质量及数据画像介绍(Data Profiling & Data Quality Check Introduction)

感谢凯捷技术有限公司技术总监龚总的点拨,让本人发现在经验及涉及的技术领域的不足,这才有了今天这篇文章。同时,感谢天善智能的seng、BAO胖子、BIWORK、要选就选S型对“ETL之前如何进行数据质量检测”这一话题的...

胡艺友_数据胡 发表了文章 • 2016-03-14 01:57

1
投票
5
已解决
3684
浏览
0
投票
2
回答
1292
浏览
1
投票
5
已解决
3684
浏览
0
投票
0
回答
1254
浏览
0
投票
1
已解决
1319
浏览
9
推荐
3937
浏览

【原创】数据质量及数据画像介绍(Data Profiling & Data Quality Check Introduction)

感谢凯捷技术有限公司技术总监龚总的点拨,让本人发现在经验及涉及的技术领域的不足,这才有了今天这篇文章。同时,感谢天善智能的seng、BAO胖子、BIWORK、要选就选S型对“ETL之前如何进行数据质量检测”这一话题的...

胡艺友_数据胡 发表了文章 • 2016-03-14 01:57

7
推荐
2828
浏览

BI系统数据质量解决的思考

数据质量这块深有体味,曾经开发实施ERP多年,接过很多ERP业务需求并深入了解过业务,BI报表的需求及开发等,有关数据质量分几种:1.系统BUG问题:   产生原因:A.开发测试验收流程不规范,遵循开发加...

农夫 发表了文章 • 2015-10-27 13:09

0
推荐
1979
浏览

数据分析系统助力服装企业数据质量提升

       大多数的BI系统或数据分析系统的建设,常会受到两个方面问题的困扰,数据缺失与数据质量问题。而这两个问题,在服装行业数据分析类系统建设过程中,更是尤为突出。为了提升数据分析的...

andrea_zhou 发表了文章 • 2015-09-26 17:49