我所做的大数据业务如何能更有价值

0
我从事大数据相关工作已有2年,目前在一家游戏公司做Hadoop相关工作。
游戏每天会通过游戏服务器产生大量的日志文件,每一个小时会产生一次,数据总量会很大,最终数据要存储在HDFS中,进行分析。
我的做法:
1、 通过Flume进行分布式收集不同服务节点产生的日志文件,并存储到HDFS中;
2、 通过Hive原表的形式对HDFS中存储的数据进行数据清洗,剔除掉垃圾数据和非必要字段;
3、 将清洗的数据导入优化过的Hive表中(分区、压缩等);
4、 按照业务部门要求定时统计游戏流水等信息;
5、 通过Ooize把流程创联起来,让整个过程更简单、清晰。
 
最近我在想,因为实际的业务场景有那么大的数据量,所以我使用了Hadoop并解决了业务需求,好像也只是单纯的解决了某一项问题(收集-清洗-存储-分析),那么如何再结合我拥有的数据,创造更多的商业价值呢?又或者说,我的想法是错的,因为项目本身是内部项目,不能有更多的可操作性了!
 
其实我的思路也不是很清晰,只是把我自己想的写出来,请大神指导。
 
求解!
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-10-13 回答

   大数据的定义的Volume(大量),Variety(多样),Velocity(高速),Value(价值)这4个特点中,其实前面3个都比较好解决,一般的企业里面,能用hadoop相关生态系统的,其实,用mysql等传统的方式也是可以处理的,都会有不同的解决方案,但是最后的一个,有价值该如何衡量?我相信这也是很多的企业或者决策者比较困惑的地方。如何才能让自己的数据有价值,如果让自己有价值。。   根据IBM在全球发布了针对大数据分析的最新研究报告《分析:价值的蓝图》显示,当前全球领先的企业和组织中,将业务分析的首要价值定义为“增长”或“创新”的超过75%。从这里面,我们可以看到一个词汇是业务分析。之前跟天善智能的大牛BIWork聊天的时候,他也提到,有的时候他也会很羡慕做业务的人。在实际的工作生活中,我们也会发现,往往一个技术背景不是很好的人,但是业务背景很好的人是一个leader。这是为什么呢?因为再多数据,只有贴合业务,才能变得有价值,才能产生和创造更大的价值。
   因此,我一直觉得大数据这个词的重点是在“据”上,如何才能根据业务,创造价值,否则就是一堆大量的,数据繁杂的二进制数据
 
   以上,纯属个人意见,欢迎随时讨论
 
0

BAO胖子 - 15年BI经验,涉足电力,快消品,医药,信息服务等行业的BI老兵。 2015-10-13 回答

大数据处理本身已经很有价值了,这是所有一切的基础。
 
看过《三体》吗?人类所有科技的发展,在三体人”水滴“面前不堪一击。基础物理没有得到质的飞跃,其他一切都是渣渣。大数据未来会越来越实时化,所以加油就行了。不见得非得搞前端的商业分析,这本身就是商业价值。

要回复问题请先登录注册