0
推荐
1555
阅读

YARN笔记

1. YARN的产生背景MRv1编程模型:Map阶段和Reduce阶段数据处理引擎:MapTask和ReduceTask运行时环境:JobTracker(资源管理和作业控制)和TaskTracker(接受JT命令并具体执行)MRv2编程模型、数据处理引擎,与MRv1是一样的 唯一不同的是运行时环境。MRv2是运行于YARN之上的MapReduce计算框架。YARN(资源管理与调度...

发表了文章 • 2017-11-25 19:20 • 0 条评论

0
推荐
1488
阅读

Hadoop集群搭建笔记

1、安装虚拟机VMware workstationCentOS 镜像 安装Linux虚拟机:(在Win7上)1)安装VMwareWorkstations(可修改配置)2)添加CentOS镜像(启动安装 ->配置网络)网络配置:NAT模式网络重启:service network restart关闭系统:shutdown -h now 2、远程连接Xshell5Xftp5 3、在Linux上搭建Hadoop集群下...

发表了文章 • 2017-11-24 16:14 • 0 条评论