9
推荐
12405
阅读
Hadoop的几种运行模式
Hadoop的几种运行模式1、Hadoop集群学院视频链接：https://edu.hellobi.com/course/93/play/lesson/14001、Hadoop集群Master：主节点，对Hadoop来说，运行着NameNode、ResourceManager服务进程 Slave：从节点，对Hadoop来说，运行着DataNode、NodeManager服务进程我们以HDFS的两个服务进程为例来说明： NameNo...
10
推荐
3013
阅读
Hadoop介绍
Hadoop 介绍1、Hadoop的前世今生2、Hadoop架构变化3、Hadoop 的主要模块大数据系列视频教程 https://edu.hellobi.com/course/931、Hadoop的前世今生Hadoop : https://hadoop.apache.org/，hadoop经过几年的发展之后已经形成了自有的技术生态系统，如课程后续要讲到的hive hbase zookeeper等都是这个生态系统中的一...
3
推荐
4087
阅读
Sqoop导入数据时添加时间戳字段
import转载请注明出处！背景说明：当利用Sqoop从Oracle等关系型数据库中抽取数据到Hive或HDFS时，加载到Hive或HDFS的数据需要有一个加载时间戳，以便于后续加载的数据做更新比对。解决思路：在Sqoop中进行导入时，可以使用–columns来指定导入RDB中表的某些固定字段，试验后发现这种方式在表的字段数较少时是可行的，通过...
7
推荐
10480
阅读
Sqoop 1.4.6 导入实战 (RDB含MySQL和Oracle)
Sqoop-1.4.6使用手册-v1.0-import部分安装使用Sqoop-1.4.6.jarJDBC包导入从RDB导入数据至HDFSOracleMySQL从RDB导入数据至HiveOracleMySQL导入全部表空值处理增量导入导入新数据导入更新数据导入数据表的子集保存上次导入的值增量导入总结密码保护压缩关于版本转载请注明出处！Sqoop是Hadoop与其他关系型数据库之间进行数...
9
推荐
5435
阅读
Hive与HBase的集成实践
注：若需转载，请注明出处！Hive与HBase集成实践大数据平台搭建 hive-2.0.0 hbase 1.1.3环境说明CentOS 6.7Hadoop 2.7.2Hive 2.0.0HBase 1.1.31. 具体步骤1. 拷贝jar包首先删除$HIVE_HOME/lib下HBase和ZooKeeper相关的jar包然后重新拷贝$HBASE_HOME/lib下的HBase和ZooKeeper相关的jar包至Hive下2. 在Hive的类...
3
推荐
3797
阅读
Hive on Spark
注：若需转载，请注明出处！Hive on Spark大数据平台搭建 hive 2.0.0 spark 1.5.0Hive on Spark1. 修改$HIVE_HOME/conf/hive-site.xml2. 添加spark-assembly包3. 额外添加几个jar包附. 编译spark-assembly包Hive on Spark，基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。Hive on Spark...