把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看
第一步:安装主节点spark1
第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码123456 ,虚拟机名称spark1
第二步:配置yum源
需经常使用yum安装软件,使用国内网易源速度更快
[root@localhost ~]
[root@localhost ~]
使用以下命令生成缓存
[root@localhost yum.repos.d]
[root@localhost yum.repos.d]
配置yum源https://lug.ustc.edu.cn/wiki/mirrors/help/centos
第三步:克隆两个从节点spark2、spark3
第二个节点:全名spark2 用户名hadoop
第三个节点:全名spark3 用户名hadoop
到这里就将spark1、spark2、spark3三个节点初步安装好了
第四步:网卡配置
[root@localhost ~]# ifconfig #spark1节点网卡名称是eth0
[root@localhost ~]# ifconfig #spark2节点网卡名称是eth1
[root@localhost ~]# ifconfig #spark3节点网卡名称是eth1
spark1
inet addr:192.168.220.144 HWaddr:00:0C:29:01:07:7D
Bcast: 192.168.220.255 Mask: 255.255.255.0
spark2
inet addr:192.168.220.145 HWaddr 00:0C:29:08:D6:45
Bcast:192.168.220.255 Mask: 255.255.255.0
spark3:
inet addr:192.168.220.146 HWaddr 00:0C:29:6D:E1:EC
Bcast:192.168.220.255 Mask:255.255.255.0
[root@localhost ~]
[root@localhost network-scripts]
[root@localhost network-scripts]
[root@localhost network-scripts]
DEVICE="eth0"
BOOTPROTO="static" #这里将dhcp修改成了static
HWADDR="00:0C:29:01:07:7D"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="6de4fbd4-af89-44ac-a477-61847c560758"
IPADDR=192.168.220.144 #新增
NETMASK=255.255.255.0 #新增
GATEWAY=192.168.220.2 #新增
DNS1=192.168.220.2 #新增
[root@localhost ~]# ping www.baidu.com #看能否ping通
DEVICE="eth1" #修改
BOOTPROTO="static" #修改
HWADDR="00:0C:29:08:D6:45" #修改
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="6de4fbd4-af89-44ac-a477-61847c560758"
IPADDR=192.168.220.145 #新增
NETMASK=255.255.255.0 #新增
GATEWAY=192.168.220.2 #新增
DNS1=192.168.220.2 #新增
DEVICE="eth1" #eth0修改成eth1
BOOTPROTO="static" #修改成static
HWADDR="00:0C:29:6D:E1:EC" #对应节点修改
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="6de4fbd4-af89-44ac-a477-61847c560758"
IPADDR=192.168.220.146 #新增
NETMASK=255.255.255.0 #新增
GATEWAY=192.168.220.2 #新增
DNS1=192.168.220.2 #新增
自己三个节点虽然全能连外网了了,但搞了很久,有待验证
第五步:修改主机名
[root@localhost ~]
NETWORKING=yes
HOSTNAME=spark1 #对应节点修改,其他两个节点分别修改成spark2和spark3
[root@localhost ~]
第六步:修改hosts文件
[root@spark1 ~]
192.168.220.144 spark1
192.168.220.145 spark2
192.168.220.146 spark3
第七步:检查配置(三个节点都检查)
[root@spark1 ~]
[root@spark1 ~]
[root@spark1 ~]
第八步:建立集群间ssh无密码登陆
[root@spark1 ~]
[root@spark1 ~]
[root@spark1 .ssh]
[root@spark1 .ssh]
[root@spark1 ~]# ssh-copy-id -i spark2 #spark1 ssh无密码登陆spark2
[root@spark1 ~]# ssh-copy-id -i spark3 #spark1 ssh无密码登陆spark3
[root@spark2 .ssh]# ssh-copy-id -i spark1 #spark2 ssh无密码登陆spark1
[root@spark2 .ssh]# ssh-copy-id -i spark3 #spark2 ssh无密码登陆spark3
[root@spark3 .ssh]# ssh-copy-id -i spark1 #spark3 ssh无密码登陆spark1
[root@spark3 .ssh]# ssh-copy-id -i spark2 #spark3 ssh无密码登陆spark2
[root@spark2 ~]# exit #exit命令退出登陆
第九步:jdk1.8安装
[root@spark1 ~]
[root@spark1 java]
[root@spark1 java]
[root@spark1 java]
[root@spark1 java]
export JAVA_HOME=/usr/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
[root@spark1 ~]
[root@spark1 ~]
[root@spark1 usr]
[root@spark1 usr]
[root@spark2 ~]
[root@spark3 ~]
[root@spark1 ~]
第十步:hadoop-2.6.0安装
[root@spark1 ~]
[root@spark1 hadoop]
[root@spark1 hadoop]
[root@spark1 hadoop]
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[root@spark1 hadoop]
[root@spark1 hadoop]
[root@spark1 hadoop-2.6.0]
[root@spark1 hadoop-2.6.0]
[root@spark1 dfs]
[root@spark1 dfs]
[root@spark1 hadoop-2.6.0]
第十一步:文件配置
core-site.xml
[root@spark1 hadoop]# vi core-site.xml #增加以下内容
hadoop.tmp.dir
file:/usr/hadoop/hadoop-2.6.0/tmp
Abase for other temporary directories.
fs.defaultFS
hdfs:
hadoop-env.sh
[root@spark3 hadoop]# vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8
hdfs-site.xml
[root@spark1 hadoop]# vi hdfs-site.xml
dfs.namenode.secondary.http-address
spark1:50090
dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.6.0/dfs/name
dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.6.0/dfs/data
dfs.replication
3
mapred-site.xml
[root@spark1 hadoop]# mv mapred-site.xml.template mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
spark1:10020
mapreduce.jobhistory.webapp.address
spark1:19888
yarn-site.xml
[root@spark1 hadoop]# vi yarn-site.xml
yarn.resourcemanager.hostname
spark1
yarn.nodemanager.aux-services
mapreduce_shuffle
slaves
[root@spark1 hadoop]
spark1
spark2
spark3
将hadoop-2.6.0传到spark2和spark3节点
[root@spark1 hadoop]
[root@spark1 hadoop]
将配置文件/etc/profile传到spark2和spark3节点并执行source /etc/profile 命令使其生效
[root@spark1 ~]
[root@spark1 ~]
[hadoop@spark1 hadoop-2.6.0]$ ./bin/hadoop version
关闭防火墙
[root@spark1 hadoop-2.6.0]
[root@spark1 hadoop-2.6.0]
格式化
[root@spark1 hadoop-2.6.0]
启动hdfs集群
[root@spark1 hadoop-2.6.0]# start-dfs.sh #启动hdfs集群
是否启动成功
spark1:namenode、datanode、secondarynamenode
spark2:datanode
spark3:datanode
[root@spark1 hadoop-2.6.0]# stop-dfs.sh #停止
启动yarn计算平台
[root@spark1 hadoop-2.6.0]# start-yarn.sh #启动yarn计算平台
是否启动成功
spark1:resourcemanager、nodemanager
spark2:nodemanager
spark3:nodemanager
[root@spark1 hadoop-2.6.0]# stop-yarn.sh #停止
可以两个一起启动
[root@spark1 hadoop-2.6.0]# start-all.sh #两个一起启动
检验
[root@spark1 hadoop-2.6.0]
注意:如果 Live datanodes 不为 0 ,则说明集群启动成功
可通过50070端口验证集群是否启动成功:http://spark1:50070/
可通过8088端口验证计算平台是否启动成功:http://spark1:8088/