做数据处理的时候经常用到哪些程序包?

0
我是一个初学者,想先学习一下大数据处理,那么我们在做大数据处理的时候经常用到哪些程序包?
已邀请:
0

MarsJ - 大数据玩家~DS 2016-07-26 回答

数据处理没有特定的程序包。
1、因为不同领域、不同数据规格、不同数据格式的数据处理都不一样;
2、此外即便是同一批数据,在不同的需求下(包括业务需求、应用需求)也会要求不同的处理方式和方法,
3、数据处理方法还基于你所使用的数据存储和读写介质,例如HDFS存储,你可以选择使用写MapReduce程序来处理进行去重,也可以使用Hive的HiveQL(简称HQL)来去重。
0

lxl520 2016-07-26 回答

谢谢~~

要回复问题请先登录注册