小编导读
本文由数聚股份顾问刘朔提供撰写，本文行文流畅，逻辑清晰，内容详实、生动，可读性高。像这样的文章，我想我们可以收藏起来，细细评读，以助于我们将其转化为自己的知识储备。
决策来自数据，数据还看质量
数据质量，是商务智能（下称BI）系统实施成败的关键因素之一，但是很多企业并没有意识到这一点，甚至因为投入多、见效慢等原因并不主动改善数据质量，轻者造成BI系统应用程度不高，重者直接造成决策方向的偏差，最终影响企业自身的利益。本文中，笔者从数据质量的内涵入手，分析造成数据质量问题的原因并给出应对方法。
Q1：什么是数据质量？
我们购买的商品有商品质量，我们的数据同样拥有着质量属性。高质量的商品可能代表着材料上乘耐用度高，也可能代表着设计贴心可用性强，当然也可能代表着做工精良满足度高，高质量的数据同商品类似，也要从多个角度去评判。
“就数据本身而言，高质量的数据应当是真实的、及时的、完备的、一致的。
及时性要求事件和业务发生后尽快将相关信息记录，时间流逝的越多，可追踪信息就越少，严重时信息可能完全丢失，变得毫无意义。
完备性要求数据能够不遗漏的记录事件或业务发生时的相关因素，仍然以交易作为例子，数据应当记录交易前、交易中以及交易后的相关细节，比如交易前产生交易的原因、约定，交易过程中的交易方式、交易时长，交易后的问题交涉等等。
一致性既要求空间的一致性，也要求时间的一致性。空间层面的一致性可以理解为不同来源的数据拥有统一的理解，比如用户A与B发生了交易，交易内容是皮包，那么无论从A角度来看还是从B角度来看，交易内容都是皮包，而不是储物袋；而时间层面的一致性要求无论跨越多少时间，数据的含义都不会发生变化，比如区县的合并和分割导致某一时间点之后的地址含义发生变化，若干年后，当追溯某地址时，都应当清楚的知道这个地址的“前世今生”，而不是混淆不明。
“从数据使用角度来看，高质量的数据应当是存储安全的、传输可靠的。”
存储安全性要求数据存储环境安全，能够避免数据丢失、数据被篡改等情况的出现，或者当出现这些情况时，数据能在一定时间内恢复。
传输可靠性要求数据在单向或双向传输过程中不会被修改，保证传输的效率和结果正确。
Q2：影响数据质量的因素有哪些？
数据产生前，没有统一的标准规范、缺少数据来源甚至多个数据来源都会引发数据质量问题。比较典型的例子是产品结构，有些企业允许分公司根据需要自主经营一些产品，这些产品并不是总公司统一决策的产物，那么未来当总公司从各个分公司汇集数据时，很可能会产生两个分公司之间产品重名的问题，经过分析讨论，发现重名之一的产品很受客户欢迎，总公司准备全国推广，推广时具体实施人员一旦没有仔细核对产品，结果可想而知。
数据产生时，业务系统没有强制性的数据校验，或是校验方法与数据使用方法不匹配，导致数据内容错误、数据格式不正确等各种问题。常见的现象是“穿越的时间”（几十年后的时间）、“简单的数值”（小数点后均被和谐掉）等。
数据产生后，没有妥善的途径去检查数据质量，或者使用中发现数据问题了，却因为各种原因无法进行数据更正。不知道读者有没有遇到过类似的情况：数据使用部门在使用数据的过程中发现“供应商名称”有空值的情况，反映给业务部门；业务部门说，这个数值在系统填写后就再也无法更改了，我们改不了；找信息化部门，信息化部门说，这系统太多年了，我们现在也不熟悉了，正在改造呢，等改造完成再说……转了一大圈，最终结果就是——改不了。
除开上述常见原因，也有各种非正常情况造成数据质量的下降，比如硬件损坏、网络不可用、数据被篡改甚至是自然灾害等。
Q3：企业应当如何保证数据质量？
数据质量不是简单的技术问题，它需要企业层面的战略支持！
我们服务过很多客户，在我们刚入场实施时，并非所有客户都能意识到数据质量对BI的影响，对于那些不清楚数据质量重要性的客户，我们在搭建决策支持平台的同时，通过摆事实、作对比等方式引导客户反思自己的数据质量，进而让客户做出有益的改变。后来，在我们实施二期、三期项目的时候，他们会主动告知我们，哪些数据是没有问题的，哪些是可能存在问题的，你们不必要花大量时间再进行数据质量分析了。这样，在减少项目实施周期的同时，也为客户赢得了宝贵的决策提前时间量。
全面提高质量意识。思想是行动的导引，没有正确思想的引导，注定要走弯路。客户的项目相关人员是清楚数据质量重要性的，但是这仅限于项目或产品实施相关的人员，这样还不足以从整体上提升企业数据的质量的。应当由管理层发起，从上至下普及数据质量的重要性，提高全企业的思想意识，保证从数据产生、数据保存到数据维护、数据归档的整个生命流程都能够重视数据质量，必要时，可通过信息化部门建立考核机制，激励员工提升思想水平。
成立专项小组。健全的组织结构是开展数据质量工作的基础。数据质量专项小组至少要包含领导者、业务人员和技术人员三类角色，企业有分公司时，应当在分公司设立相应的组织结构。领导者负责制定整体计划、传播数据质量管控思想、监督和督导下属人员开展相关工作；业务人员负责核对、检查和修正问题数据，从源头上改善数据质量；技术人员的主要工作是校验数据是否符合数据质量要求，源头数据修正后及时更新等，当然，也包括维护数据安全性和业务人员不便处理的批量更改数据等工作。
统一数据标准。无规矩不成方圆。统一的数据标准能够降低企业内部维护数据的难度，也能够减少基础数据整合的困难，尤其是汇聚多个部门、多个系统、多个子公司的数据时，效果更加明显。常用的数据标准包括组织机构、产品信息、门店信息、客户信息、供应商信息、业务指标等，标准内容至少涵盖数据项、数据格式、数据字典、数据质量要求等。
加强业务系统设计。数据源是把控数据质量的第一道门，把好第一道门可以省却一半以上的工作。业务系统应当从几个方面进行改造，包括规范的数据结构设计、合理的数据校验以及完备的数据采集内容等。规范的数据结构能够有效规避数据冗余和不一致问题，数据校验能够阻挡不完整、不规范、不合规的数据入库，完备的数据采集是支持BI全面分析的数据基础，而且可以加入便于系统审计的相关属性，如校验和、时间戳、更新删除标识等 。
建设主数据管理系统。主数据，简单来讲，就是系统间共享的核心业务实体，如客户、组织机构、产品等。这些数据的变化相对缓慢并通常跨系统重复使用，一致的、完整的、可追溯的主数据是企业标准化的基础，建设主数据管理系统，能够有效增强企业IT架构的灵活性，大幅度提升数据分析的能力和决策水平。
搭建数据质量管控平台。当把数据质量作为企业战略层面的一项任务时，搭建数据质量管控平台就显得十分必要了。我们可以在平台上创建质量检查规则，定期进行质量检查，将问题数据发布到相关责任部门，并能够追踪数据整改情况，形成数据质量报告。一站式的数据质量管控平台是快速评估和提升数据质量、建立质量考核制度的基础。
加强数据安全管理。数据的不安全在很大程度上影响数据质量，甚至能够造成企业的直接经济损失。小到定期更换密码，大到两地三中心，从数据备份，到系统容灾，无一不体现着数据安全。数据（信息）安全作为一门独立的学科，也体现着它的重要性和专业性。企业首先应当明确数据全生命周期各个环节的责任人责任，以及相应的工作内容、工作方法和工作流程，形成统一的安全管理体系，然后再根据自身实际情况，逐步加固数据堡垒，而不是盲目的追求安全而放弃眼下最急需的决策利用价值。
值得强调的是，如同数据仓库建设一样，数据质量的提升也不是一朝一夕的事情，只有长期的关注和持久的行动，才能使数据发挥出应有的甚至超出预期的价值。
原创文章，如需转载，请在评论区留言申请
