14
推荐
3722
阅读

YARN笔记

hadoopYARN 笔记1. YARN的产生背景2. YARN的设计思想3. YARN的基本架构4. YARN的工作流程(小结)YARN课程地址:https://edu.hellobi.com/course/93/play/lesson/14711. YARN的产生背景MRv1编程模型:Map阶段和Reduce阶段数据处理引擎:MapTask和ReduceTask运行时环境:JobTracker(资源管理和作业控制)和TaskTracker(...

发表了文章 • 2016-09-27 19:16 • 0 条评论

25
推荐
18965
阅读

Hadoop集群搭建笔记

1、安装虚拟机VMware workstationCentOS 镜像 安装Linux虚拟机:(在Win7上)1)安装VMwareWorkstations(可修改配置)2)添加CentOS镜像(启动安装 ->配置网络)网络配置:NAT模式网络重启:service network restart关闭系统:shutdown -h now 2、远程连接Xshell5Xftp5 3、在Linux上搭建Hadoop集群下...

发表了文章 • 2016-09-07 08:55 • 109 条评论

9
推荐
12397
阅读

Hadoop的几种运行模式

Hadoop的几种运行模式1、Hadoop集群学院视频链接:https://edu.hellobi.com/course/93/play/lesson/14001、Hadoop集群Master:主节点,对Hadoop来说,运行着NameNode、ResourceManager服务进程 Slave:从节点,对Hadoop来说,运行着DataNode、NodeManager服务进程我们以HDFS的两个服务进程为例来说明: NameNo...

发表了文章 • 2016-09-03 09:52 • 1 条评论

10
推荐
3001
阅读

Hadoop介绍

Hadoop 介绍1、Hadoop的前世今生2、Hadoop架构变化3、Hadoop 的主要模块大数据系列视频教程 https://edu.hellobi.com/course/931、Hadoop的前世今生Hadoop : https://hadoop.apache.org/,hadoop经过几年的发展之后已经形成了自有的技术生态系统,如课程后续要讲到的hive hbase zookeeper等都是这个生态系统中的一...

发表了文章 • 2016-08-30 16:44 • 2 条评论