如何借助Hadoop实现大数据价值

浏览: 1302

全面利用Hadoop发掘数据中的潜在商机

Clipboard Image.png

大数据与企业日常运营中使用的大量新数据一样重要,但其潜力尚未得到充分利用。幸运的是,现在已经有了充分发挥这种潜力所需的工具。例如,战略扩充Hadoop数据管理和分析功能,使企业可通过分布式数据存储和分析及时获得结果,也可以更加全面地分析所有可用数据,提高企业洞察力。

不断演化的环境

当前,随着数字化转型的兴起,包括Uber、Airbnb或Netflix等在内的众多企业正在积极追赶这一潮流。然而,企业要想真正实现转化,它们亟需采用正确的技术和流程——例如有效数据管理等。

在IDG Research Services最近调查中发现,加强数据管理已然是高度关注的重点;特别是IT界领导者正在考虑各种数据管理的应用方式,包括临时存储大型原始数据集进行高级分析,以及构建实时数据挖掘与分析的平台。

利用Hadoop

Clipboard Image.png

在大数据利用方面,Hadoop迅速成为首选主流平台。根据定义,Hadoop是一种基于商用硬件组件以存储数据、运行应用的开源软件框架。它可以海量存储任何类型的数据,具有强大处理能力,支持几乎无限数量的并发任务或作业。

配置中端成本商用硬件的Hadoop可以有效地存储、组合各种数据,包括交易数据、社交媒体数据、传感器数据、机器数据、科学数据、点击流数据等。用低成本存储,企业可以保存具有潜在未来价值的信息。例如,尽管企业未必需要立即分析客户订购模式,但这种信息有利于企业今后推出下一代产品。Hadoop使这成为一种可行的方法。

IT界的领导者显然已经了解Hadoop的潜力。调查结果显示,至少66%的受访者正在考虑将Hadoop用作存储和处理大量非结构化数据的工具;约三分之一以上的受访者开始试用或已将Hadoop用于生产。

遗憾的是,认识到Hadoop的潜力与真正实现其价值之间存在相当大的差距。技能短板是Hadoop面临的最普遍问题 (44%)。受访者还关心如何整合往来于Hadoop的数据 (32%),以及如何满足安全和监管规定的要求 (30%)。

Clipboard Image.png

“尽管Hadoop本身是一种免费开源软件,但在人才济济的企业中仍然很难推广。为什么? 因为它不仅是数据科学组件,而且还要求每位业务人员能迅速掌握,”SAS新兴技术总监Tamara Dull说。“这也是有些企业IT部门虽然成功运行了Hadoop项目,但由于业务端用户不知道如何使用这种平台,导致企业最终放弃该项目的主要原因。这需要在看待数据与使用数据两方面改变企业文化。”

  把握时机

好在企业可以采取行动实现Hadoop的更高价值。

  将业务需求放在首位。

那些可能存在的“业务问题”推动了Hadoop的部署。没有这种推动需求—无论是当下还是未来—就很难实现投资价值。“如果大数据不能用来营利,谁也懒得去做这件事。要想利用大数据环境及其所有相关领域,需要投入大量时间和资源,”她说。

  正确认识工具。

多年来,数据管理和分析的问题是阻碍Hadoop实施的主要原因。面对挑战,可以利用其他工具扩大Hadoop的应用效果;这意味着,需要从生态系统的角度来看待Hadoop,因为帮助企业实现最大价值的往往是辅助工具。例如,66%的受访者认为,提高Hadoop查询速度的解决方案具有很高价值。其他受访者优先选择能利用Hadoop提升业务用户体验的解决方案,包括内置分析技术 (64%),支持实时分析 (60%),以及加快访问速度,更好地整合Hadoop数据 (58%)。

Clipboard Image.png

3注重实现差异化

“具备大家都有的使用案例很容易,但一个企业要从竞争对手中脱颖而出,就需要掌握不同的案例”Dull说,“这意味着,需要考虑运作能力不受任何限制的可能性,比如是否符合业务目标,是否与利润水平一致?”

4了解递进的价值

从准备、管理到模型部署与监控,每个以数据为基础的项目都经过反复而又持续的改进过程。这个过程帮助组织得出分析结果,最终将大数据转变为更好的机会。

Clipboard Image.png

基本要求

企业需要建立根据需求以推动IT技术部署的内部文化。为此,需要首先了解公司的最终目标,确定最迫切的业务问题,然后寻找其中哪些可以有效利用技术来解决,包括Hadoop和辅助工具。

物联网(IOT): 从幻想到现实

Clipboard Image.png

物联网 (IoT) 不再是科学幻想。事实上,越来越多现实的实例证明这种技术融合的力量。虽然只有6%的受访者会真正去分析积累的数据,但这确实表现出利用IoT的兴趣。例如,至少有超过三分之二的受访者在考虑IoT,约四分之一以上的受访者试用或已经部署IoT技术。

通过IoT,企业可以将实时分析和预测建模与机器学习相结合,这是是数据实用化的一个典型例子。基于Hadoop的生态系统非常适合存储和处理数据,其在成本效益方面也远优于其他产品。

Clipboard Image.png

但是,我们在此需再次强调:它只是一种实现差异化优势的补充工具。例如,企业利用数据集成工具提高生产力,均衡工作负载时可进行实时分析。同样,预测建模有利于企业充分利用数据挖掘。但要想成功完成IoT计划,需要采用动态图表和图型,快速直观地与数据交互,了解数据之间的重要关系。

当然,统计结果表明,大多数企业刚刚起步。随着成熟度的提高,回报价值将显著增长。

SAS大数据分析与Hadoop

市场研究机构IDC预测到2016年,Hadoop将实现8.128亿美元的销售额—复合年增长率达到60.2%。88%的企业将其视为新的机遇。Hadoop对累积了海量数据资产的企业来说意义非凡,SAS则致力于帮助这些部署大数据架构的企业,运用行业最顶尖的分析技术获取卓越洞察。

推荐 0
本文由 C级英雄 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册