我所做的大数据业务如何能更有价值
0
我从事大数据相关工作已有2年,目前在一家游戏公司做Hadoop相关工作。
游戏每天会通过游戏服务器产生大量的日志文件,每一个小时会产生一次,数据总量会很大,最终数据要存储在HDFS中,进行分析。
我的做法:
1、 通过Flume进行分布式收集不同服务节点产生的日志文件,并存储到HDFS中;
2、 通过Hive原表的形式对HDFS中存储的数据进行数据清洗,剔除掉垃圾数据和非必要字段;
3、 将清洗的数据导入优化过的Hive表中(分区、压缩等);
4、 按照业务部门要求定时统计游戏流水等信息;
5、 通过Ooize把流程创联起来,让整个过程更简单、清晰。
最近我在想,因为实际的业务场景有那么大的数据量,所以我使用了Hadoop并解决了业务需求,好像也只是单纯的解决了某一项问题(收集-清洗-存储-分析),那么如何再结合我拥有的数据,创造更多的商业价值呢?又或者说,我的想法是错的,因为项目本身是内部项目,不能有更多的可操作性了!
其实我的思路也不是很清晰,只是把我自己想的写出来,请大神指导。
求解!
游戏每天会通过游戏服务器产生大量的日志文件,每一个小时会产生一次,数据总量会很大,最终数据要存储在HDFS中,进行分析。
我的做法:
1、 通过Flume进行分布式收集不同服务节点产生的日志文件,并存储到HDFS中;
2、 通过Hive原表的形式对HDFS中存储的数据进行数据清洗,剔除掉垃圾数据和非必要字段;
3、 将清洗的数据导入优化过的Hive表中(分区、压缩等);
4、 按照业务部门要求定时统计游戏流水等信息;
5、 通过Ooize把流程创联起来,让整个过程更简单、清晰。
最近我在想,因为实际的业务场景有那么大的数据量,所以我使用了Hadoop并解决了业务需求,好像也只是单纯的解决了某一项问题(收集-清洗-存储-分析),那么如何再结合我拥有的数据,创造更多的商业价值呢?又或者说,我的想法是错的,因为项目本身是内部项目,不能有更多的可操作性了!
其实我的思路也不是很清晰,只是把我自己想的写出来,请大神指导。
求解!
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
2 个回复
牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-10-13 回答
赞同来自: 梁勇
因此,我一直觉得大数据这个词的重点是在“据”上,如何才能根据业务,创造价值,否则就是一堆大量的,数据繁杂的二进制数据
以上,纯属个人意见,欢迎随时讨论
BAO胖子 - 15年BI经验,涉足电力,快消品,医药,信息服务等行业的BI老兵。 2015-10-13 回答
赞同来自:
看过《三体》吗?人类所有科技的发展,在三体人”水滴“面前不堪一击。基础物理没有得到质的飞跃,其他一切都是渣渣。大数据未来会越来越实时化,所以加油就行了。不见得非得搞前端的商业分析,这本身就是商业价值。