HADOOP工程师工作内容

1
问下有经验的兄弟,HADOOP开发,分不分HDFS文件java开发与HIVE数据库开发????如果不是这样,那HADOOP开发是哪些内容????
已邀请:
2

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-14 回答

简单的来说,hadoop的工作主要分为如下几类:1.Hadoop运维及其相关:主要是做Hadoop的集群安装,部署与维护等等。这类工作与Java关系不大,需要对操作系统,网络,shell脚本的能力比较高。
2.Hadoop开发工程师(偏向技术开发):这类工作可能要求的Java会比较高,涉及面向对象编程,各种开发模式,各种开发框架,还要包括JVM调优,垃圾回收等等,可以尝试向Hadoop的开源社区提交代码。
3.Hadoop开发工程(偏向业务开发):这类工作主要是结合不同的业务场景,从海量的数据里面获取业务数据。这类要求的java要低一点,但是对于数据结构,算法的能力可能要高一点。当然,高级的Hadoop工程师是2,3的综合体。
4.面向Hadoop的其他工作:比如数据分析师,数据挖掘工程师,报表工程师等等。这类一般不是很了解Java,他们了解一些hadoop,可以上传,然后利用其他方式获取,处理数据,比如Python,Hive等等。
1

华青莲 - 鸡血!!! 2015-09-16 回答

如果要做数据分析,统计,可以通过sqoop把数据导入的hdfs,然后建立基于hdfs的inceptor表(inceptor是基于内存的计算,上亿条数据,计算速度是秒级),后续可以用sql进行数据分析统计;如果会java,可以先用eclipse做计算,数据导入到hbase,再建基于hbase的inceptor表,最后通过jdbc访问inceptor(hive)中表!

要回复问题请先登录注册