hadoop分布式环境配置

有些设置与之前写的hadoop配置相同部分不再赘述(https://ask.hellobi.com/blog/wulili/5603)

hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，master和slave中配置都是一样的。

目录

一、环境准备

二、环境配置

      1、配置SSH

      2、配置jdk，设置环境变量

      3、hadoop配置

          3.1 配置master上的slave文件

          3.2 配置hdfs-site.xml文件

          3.3 配置slaves

          3.4 验证

一、环境准备

     redhead 6.5: master 192.168.179.141     主机名 localhost

     centOS 6.7:   slave1   192.168.179.142    主机名 slave1

     centOS 6.7:   slave2   192.168.179.143    主机名 slave2

二、环境配置

1、配置SSH

• 三台机器都要配置SSH执行下面语句 一路回车即可

#ssh-keygen -t rsa  

• 将Master的公钥内容复制到slave的公钥中，再授权

sudo scp authorized_keys root@slave1:~/.ssh       --sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径

[root@slave1 .ssh]# vi id_rsa.pub 

[root@slave1 .ssh]# cat id_rsa.pub >> authorized_keys 

[root@slave1 .ssh]# chmod 600 authorized_keys 

[root@slave1 .ssh]# chmod 700 ../.ssh

• 在master上验证

#ssh slave1h         --首次需要输入密码 再次登录则不需要密码了。

2、配置jdk，设置环境变量（同伪分布式）

3、hadoop配置

    hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，master和slave中配置都是一样的，配置完master后，可以将hadoop包，直接拷贝到其他机器中

  与伪分布式不同的配置地方

        3.1 配置master上的slave文件

              将master、slaves都添加进去

        3.2 配置hdfs-site.xml文件

              配置副本的数量，每个块有几个副本，有两个slaves ，value这里是2

              <property>

              <name>dfs.replication</name>

              <value>2</value>

              </property>

        3.3 slaves中配置

•       拷贝master的hadoop包，到slaves
  

sudo scp -r hadoop root@slave1:/opt

•        执行source、格式化

        3.4 验证

              在master中启动hadoop，在slaves中执行jps查看

如此便成功了。不过安装环境真是心累。。