Hadoop集群搭建笔记

发表: 2016-09-07 浏览: 18946

Hadoop

1、安装虚拟机

VMware workstation

CentOS 镜像

安装Linux虚拟机：（在Win7上）

1）安装VMwareWorkstations（可修改配置）

2）添加CentOS镜像（启动安装 ->配置网络）

网络配置：NAT模式

网络重启：service network restart

关闭系统：shutdown -h now

2、远程连接

Xshell5

Xftp5

3、在Linux上搭建Hadoop集群

下载软件

1. Jdk：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2. Hadoop包:http://apache.fayea.com/hadoop/common/hadoop-2.7.2/

步骤：

1、修改/etc/hosts

2、配置JDK

安装：rpm -ivh jdk-8u101-linux-x64.rpm

vi /etc/profile

JAVA_HOME

source /etc/profile

java -version

3、配置SSH（免密码登录）

ssh-keygen -t rsa

cat xxx.pub >> authorized_keys

chmod 644 authorized_keys

ssh IP/HOSTNAME

4、安装及配置Hadoop

tar zxf hadoop-2.7.2.tar.gz

cd /opt/hadoop-2.7.2/etc/hadoop/

core-site.xml

<property>

    <name>fs.default.name</name>

    <value>hdfs://bigdata:9000</value>

  </property>

 

 <property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/hadoop-2.7.2/current/tmp</value>

  </property>

 <property>

    <name>fs.trash.interval</name>

    <value>4320</value>

  </property>

hdfs-site.xml

<property>

   <name>dfs.namenode.name.dir</name>

   <value>/opt/hadoop-2.7.2/current/dfs/name</value>

 </property>

 <property>

   <name>dfs.datanode.data.dir</name>

   <value>/opt/hadoop-2.7.2/current/data</value>

 </property>

 <property>

   <name>dfs.replication</name>

   <value>1</value>

 </property>

 <property>

   <name>dfs.webhdfs.enabled</name>

   <value>true</value>

 </property>

 <property>

   <name>dfs.permissions.superusergroup</name>

   <value>staff</value>

 </property>

 <property>

   <name>dfs.permissions.enabled</name>

   <value>false</value>

 </property>

yarn-site.xml

<property>

   <name>yarn.resourcemanager.hostname</name>

   <value>bigdata</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 <property>

   <name>yarn.resourcemanager.address</name>

   <value>bigdata:18040</value>

 </property>

<property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>bigdata:18030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>bigdata:18025</value>

 </property> <property>

   <name>yarn.resourcemanager.admin.address</name>

   <value>bigdata:18141</value>

 </property>

<property>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>bigdata:18088</value>

 </property>

<property>

   <name>yarn.log-aggregation-enable</name>

   <value>true</value>

 </property>

<property>

   <name>yarn.log-aggregation.retain-seconds</name>

   <value>86400</value>

 </property>

<property>

   <name>yarn.log-aggregation.retain-check-interval-seconds</name>

   <value>86400</value>

 </property>

<property>

   <name>yarn.nodemanager.remote-app-log-dir</name>

   <value>/tmp/logs</value>

 </property>

<property>

   <name>yarn.nodemanager.remote-app-log-dir-suffix</name>

   <value>logs</value>

 </property>

mapred-site.xml

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

<property>

  <name>mapreduce.jobtracker.http.address</name>

  <value>bigdata:50030</value>

</property>

<property>

  <name>mapreduce.jobhisotry.address</name>

  <value>bigdata:10020</value>

</property>

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>bigdata:19888</value>

</property>

<property>

  <name>mapreduce.jobhistory.done-dir</name>

  <value>/jobhistory/done</value>

</property>

<property>

  <name>mapreduce.intermediate-done-dir</name>

  <value>/jobhisotry/done_intermediate</value>

</property>

<property>

  <name>mapreduce.job.ubertask.enable</name>

  <value>true</value>

</property>

slaves

bigdata

hadoop-env.sh

JAVA_HOME

5、格式化HDFS

hdfs namenode -format

‘16/09/0403:07:30 INFO common.Storage: Storage directory /opt/hadoop-2.7.2/current/dfs/namehas been successfully formatted.’

6、启动Hadoop集群

/opt/hadoop-2.7.2/sbin/start-all.sh

7、验证Hadoop集群

1）jps

关闭防火墙 或者 在防火墙的规则中开放这些端口

hdfs http://bigdata:50070

yarn http://bigdata:18088

109 个评论

梁勇

代码可以弄成代码格式的

梁勇

帮 MarsJ 调整了下代码格式，看起来舒服一些。

MarsJ 回复梁勇

正在调整的，临时开会了，谢谢梁总

seng

MarsJ ，内容很详细，希望多分享啊。

MarsJ 回复 seng

嗯嗯~

夏尔康

WIN10环境下应该差异不大吧

夏尔康

Marsj老师，装HADOOP对电脑有最低配置要求吗

MarsJ 回复夏尔康

只是为了跑起来的话，现在的一般PC都够搭起来个2G的虚拟机就够了。。。想当年学生时代512M的虚拟机都试过。。。

夏尔康回复 MarsJ

哈哈，回去试试，MARSJ老师要是可以弄个云盘连接将软件资源分享就更好了，哈哈，是不是有点过分了

MarsJ

哈哈，可以有

过河卒子Rover

老师，请问一下我在安装第5步的时候格式化hdfs 输入hdfsnamenode -format 这个不能格式化，显示bash: hdfs: command not found
，这个是什么问题呢？

MarsJ 回复过河卒子Rover

你下载的版本是否与我的一致？另外，是否有配置好/etc/profile中的HADOOP_HOME、PATH=$HADOOP_HOME/bin等环境变量。如果配置好了，应该是没问题的。重点检查环境变量，可能没配好，所以找不到hdfs

warrior

有些步骤不是很明白就是来的很突然

wushuang3723

hadoop安装成功了但是web打不开，什么原因呢

MarsJ 回复 warrior

哪些步骤？

MarsJ 回复 wushuang3723

成功启动了吗？如果JPS之后能看到对应的服务进程，那么在Web端是可以看到的。
另外在Web中URL最好输入IP:Port（以防你在本机上没有做映射，直接输入主机名是访问不了的）

过河卒子Rover 回复 MarsJ

检查了一下，是PATH路径的问题，谢谢您，还有可否加一下您的微信或者qq呢？

我要学习Hadoop

讲的过程挺细，但是xml配置文件中每一项为什么那么配置没有说明原因啊。

MarsJ 回复我要学习Hadoop

有些核心的有作解释，如果每一项都讲细，没有必要的。

加帆

@MarsJ mars 老师好，首先感谢 Mars 老师开设的课程，我是 OS X（10.11上搭建伪分布式），按照教程配置到最后一步，使用 jps查看
jps
2692 SecondaryNameNode
2597 DataNode
2856 NodeManager
2266 ResourceManager
2524 NameNode
2893 Jps

各个进程似乎都正常，使用浏览器查看 http://localhost:18088/ 和 http://localhost:50070/ 没有任何响应，不知为何？

ps：我在启动（start-all.sh）是，会要我几次授权（namenode datanode secondxxxnnamenode 等）

谢谢 Mars 老师

MarsJ 回复加帆

如果要你输入密码，则证明是ssh 没有配置好。
然后Mac上你的网络配置文件有没有修改过？正常情况下localhost是可以打开HADOOP对应页面的

加帆回复 MarsJ

谢谢，确实没有家将自己的 id_rsa.pub 加到自己的 authorized_keys 里面。Web 也可以访问了，之前无法访问，可能是我开着翻墙的全局代理。谢谢你～

baosq99

mars 老师好,我用jps检查的时候只有以下几个，少了SecondaryNameNode，有没有什么问题？
[root@bigdata hadoop]# jps
2184 ResourceManager
1897 DataNode
2603 Jps
1804 NameNode
2301 NodeManager
网页上可以正常查看到

MarsJ

没有问题的，实验环境下SNN可以不理会

baosq99

好的，谢谢老师

baosq99

第二次启动的时候就有了。。。

老师您好，感谢您的精彩课程，我的也是jps可以出来结果，但是web页面没有结果，使用的的http://192.168.199.132:50070，希望老师有时间的话可以帮忙解答一下，谢谢老师

mm 回复 mm

老师我的已经没有问题了，谢谢老师

荷殇lxl

老师，请问下能否介绍下hadoop编译的相关知识和配置？？

MarsJ

hadoop的编译不会出视频，我这边没有那个编译的环境，整起来挺麻烦的，包括插件什么的，建议你可以看下网上已有的一些编译的文档，我这里编译相关的文档太老了，是Hadoop1.0版本的，不太适用

liliwu

请问老师配置yarn文件
<property>
<name>yarn.resource.manager.admin.address</name>
<value>bigdata:18141</value>
</property>
这个resource.manager是有个点没有敲错？

MarsJ 回复 liliwu

没有点，应该是：yarn.reourcemanager.admin.address

MarsJ 回复 liliwu

谢谢你的细心，已经修改了。

liliwu

老师
[root@wlh sbin]# bash stop-all.sh
This script is deprecated. Use stop-dfs.sh and stop-yarn.sh instead.
[root@wlh sbin]# bash start-all.sh
This script is deprecated. Use start-dfs.sh and start-yarn.sh instead.

出现这种问题是我的公钥私钥配置不对么？

liliwu

[root@wlh ~]# cd .ssh/
[root@wlh .ssh]# ll
total 16
-rw-r--r--. 1 root root 390 Nov 28 08:39 authorized_keys
-rw-------. 1 root root 1675 Nov 30 01:41 id_rsa
-rw-r--r--. 1 root root 390 Nov 30 01:41 id_rsa.pub
-rw-r--r--. 1 root root 792 Nov 30 01:31 known_hosts
[root@wlh .ssh]# cat id_rsa.pub >> authorized_keys
[root@wlh .ssh]# ll
total 16
-rw-r--r--. 1 root root 780 Nov 30 01:42 authorized_keys
-rw-------. 1 root root 1675 Nov 30 01:41 id_rsa
-rw-r--r--. 1 root root 390 Nov 30 01:41 id_rsa.pub
-rw-r--r--. 1 root root 792 Nov 30 01:31 known_hosts
[root@wlh .ssh]# ssh wlh
Last login: Wed Nov 30 01:21:34 2016 from 192.168.128.1
[root@wlh ~]# /opt/hadoop-3.0.0-alpha1/sbin/start-all.sh
This script is deprecated. Use start-dfs.sh and start-yarn.sh instead.

MarsJ 回复 liliwu

昨天那位使用Hadoop 3.0的朋友吗？

liliwu 回复 MarsJ

对的是我~

scholes32

老师，搭建好后查看启动的进程中没有Datanode，
2865 SecondaryNameNode
3010 ResourceManager
2626 NameNode
3558 Jps
3101 NodeManager
然后，打开http://192.168.0.103:50070/后也没有看到1个Node，是不是哪里配置有问题呢？

scholes32

老师，Datanode的问题老是解决不了。。。
2016-12-10 07:18:47,569 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: localhost:0

scholes32 回复 scholes32

sbin/hadoop-daemon.sh start datanode 搞定

MarsJ 回复 scholes32

单独启动的？

scholes32 回复 MarsJ

显示 start-all.sh 但是没有启动datanode，后来尝试了单独启动，第一眼是启动了，但后来操作增加文件时还是没找到datanode的进程

QuarterMaster 回复过河卒子Rover

环境变量间隔用冒号，不要用分号。可以先启用临时系统配置文件，让bash命令可用，再修改写错的分好，再用resource生效。就好了

MarsJ 回复 liliwu

并不是，是个警告而已。start-all已经被start-dfs和start-yarn替代了。也就是HDFS和YARN分别启动。但是start-all仍然可以用

QuarterMaster

Mars老师，我想在官网上查找相关配置的说明，但是没有找到。您看是这个网址吗？。如果不是，在官网哪里可以找到每项配置的说明呢。谢谢
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html#Configuring_the_Hadoop_Daemons

MarsJ

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml
这个是core-site.xml的配置说明，在http://hadoop.apache.org/docs/stable/这个链接的左下角可以找到Configuration

MarsJ 回复 QuarterMaster

MarsJ
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml
这个是core-site.xml的配置说明，在http://hadoop.apache.org/docs/stable/这个链接的左下角可以找到Configuration

QuarterMaster 回复 MarsJ

哇塞，Mars老师秒回啊！感谢~

怡红公子

Mars老师，我在mac系统搭建好后查看启动的进程中只出现了
2090 ResourceManager
2458 Jps
我的只有4G内存，是我的电脑配置太低了原因吗？还是什么？

怡红公子

问题解决了，原来我的MAC上没有开远程登录。

xiaoyuntai1322

老师，你好。我在学习你的《对话大数据系列技术从破冰到精进》课程，在课时8的内容中，我执行hdfs namenode -format命令，系统提示我“/opt/hadoop-2.7.2/bin/hdfs: line 304: /root/usr/java/default//bin/java: 没有那个文件或目录
/opt/hadoop-2.7.2/bin/hdfs: line 304: exec: /root/usr/java/default//bin/java: cannot execute: 没有那个文件或目录
”
我可以执行“java -version”和“echo $JAVA_HOME”命令
[root@bigdata ~]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) Client VM (build 25.111-b14, mixed mode, sharing)
[root@bigdata ~]# echo $JAVA_HOME
/usr/java/default/

请问是什么原因呢？谢谢。我的电脑是32位，下载的JDK也是32位的。其他所有内容及所有步骤都是与视屏一致

弓长

老师，yarn内存默认8G的问题，是在哪个文件中修改？

ID王大伟

老师，我在运行hadoop之后：

[root@bigdata ~]# /opt/hadoop-2.7.2/sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
17/02/03 04:18:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [bigdata]
bigdata: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-bigdata.out
bigdata: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-bigdata.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: secondarynamenode running as process 2199. Stop it first.
17/02/03 04:18:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-resourcemanager-bigdata.out
bigdata: starting nodemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-nodemanager-bigdata.out
[root@bigdata ~]# jps
2851 Jps
2006 NameNode
2134 DataNode
2423 ResourceManager
2526 NodeManager
[root@bigdata ~]#
老师我这样算是hadoop运行成功了么但是jps里面没有secondarynamenode，hdfs http://bigdata:50070和yarn http://bigdata:18088也打不开请问怎么解决

xiaoyuntai1322

真实环境下的hadoop配置是只需要在slaves-site.xml设置从节点运行的服务器名称，然后将整个配置好的hadoop文件全部拷贝到其他子节点上就可以了，是吗？ core-site.xml、hdfs-site.xml、yarn-site.xml等文件是否不需要在修改了？？

MarsJ 回复怡红公子

好的，之前没有提示我这里有问题，所以一直没看到你的问题。请谅解。

MarsJ 回复 xiaoyuntai1322

除了设置JAVA_HOME，还要在PATH里面添加$JAVA_HOME/bin

MarsJ 回复弓长

yarn-site.xml

MarsJ 回复 ID王大伟

jps后看到的信息表示Hadoop集群的组件启动正常，但是web界面打不开的原因，应该是你没有在本机的hosts文件里配置集群master节点的IP与主机名映射，如果做了这个配置仍然有这个问题，请检查防火墙是否关闭，或者防火墙是否开放了50070等端口。

MarsJ 回复 xiaoyuntai1322

纠正一下，不是slaves-site.xml，文件名就是slaves，后面描述没有问题。注意一点的是，其他slave节点也需要做好jdk等环境配置。如果对于datanode或者nodemanager配置有特殊需求，就在每个slave节点上的对应配置文件修改。

纷飞的自由

老师，配置完之后，没有Resourcemanager，18088的端口访问不了，应该从哪里找问题。

MarsJ 回复纷飞的自由

查看ResourceManager的日志，在$HADOOP_HOME/logs目录下

简里

格式化namenode报错
[root@bigdata hadoop]# hdfs namenode -format
Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode
麻烦老师帮忙看下

MarsJ 回复简里

到日志里去看，$HADOOP_HOME/logs/...，要看到具体日志才行

zytrance

老师好，我按老师的配置到ssh bigdata ,提示 port22 no route to host。但 ssh 主机IP 是可以无密码登陆。每次重启/开关机，主机IP都会变化。请问老师如何实现 ssh bigdata 免密码登陆

过隙白驹

老师讲的很详细了明天搞一把

1395354946

老师，我的启动时只能启动secondarynamenode 界面如下，请问这是什么问题？谢谢老师。
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
17/03/03 16:38:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [bigdata]
bigdata: ssh: connect to host bigdata port 22: Connection refused
bigdata: ssh: connect to host bigdata port 22: Connection refused
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-bigdata.out
17/03/03 16:39:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-resourcemanager-bigdata.out
bigdata: ssh: connect to host bigdata port 22: Connection refused

MarsJ 回复 zytrance

那就是你的ssh没有做好，port22 no route to host这个错误表示找不到22端口，你看下防火墙是否开放了22端口。主机变化这个也只有在测试环境或者虚拟机环境才这样，只能手动改etc/hosts里面的映射，大数据集群中真实环境的IP是固定的。

MarsJ 回复 1395354946

bigdata: ssh: connect to host bigdata port 22: Connection refused
检查一下你的SSH做好了没有

744563265

在hadoop2.7.2伪分布模式下执行jps检测进程发现没有Datanode

浏览器进入http://loaclhst:50070,查看hdfs管理页面，发现Summary下的各项值全部为0，为什么

MarsJ

DataNode失败了，检查datanode日志查看启动过程中的Error

爱＆有何不可

老师您好：
您的过程很详细，我这有几个问题想请教下您。
1、您讲的好像是伪分布模式的hadoop吧，也就是在master上配置的一些东西，那如果我想做真正的分布式呢，我这里有salve1和slave2，这两台机器该如何配置呢？
您讲课的时候提到，配置hdfs-site.xml 时，有如下需要注意的细节：
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.2/current/data</value> --HDFS文件系统细节datanode配置（只需在datanode上配置就行）
</property>

<property>
<name>dfs.replication</name>
<value>1</value> --HDFS文件系统副本的数量1，节点数量
</property>
如果我是真正的分布式，那这台master机器上是不是不用配置datanode，并且下面的节点数量也要跟着slave的数量而变化？

2、我目前是按照您说的伪分布模式配置的，但是我在web访问yarn的时候是用的IP:18088端口，但是访问不了。
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>

PS:这里我用的是腾讯云的主机，有公网IP和内网IP之分，我在/etc/hosts里配置的是公网IP 和主机名，
但是我用ifconfig查出来的却是内网IP。不知道是不是这原因导致yarn访问不了。不过50070端口是可以的。

谢谢老师解答！

爱＆有何不可回复纷飞的自由

我的也是18088不行，但是50070可以，jps后我都可以显示，但是就是不能访问18088。我刚开始也没有namenode和resourcemanager，最后我查那个日志才知道错误在哪的，我建议是你缺什么，就找到那个对应的启动目录下，看报错信息，慢慢看，我也是新手。共勉

241374050

Mars，谢谢你的视频指导。我在格式化hdfs时，始终提示 mapred-site.xml 有问题：

######日志中提示错误的部分########
。。。。。。。。
STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41; compiled by 'jenkins' on 2016-01-26T00:08Z
STARTUP_MSG: java = 1.8.0_121
************************************************************/
17/03/16 04:01:40 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
17/03/16 04:01:40 INFO namenode.NameNode: createNameNode [-format]
17/03/16 04:01:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[Fatal Error] mapred-site.xml:24:2: The markup in the document following the root element must be well-formed.
17/03/16 04:01:42 FATAL conf.Configuration: error parsing conf mapred-site.xml
org.xml.sax.SAXParseException; systemId: file:/hadoop-2.7.2/etc/hadoop/mapred-site.xml; lineNumber: 24; columnNumber: 2; The markup in the document following the root element must be well-formed.
at org.apache.xerces.parsers.DOMParser.parse(Unknown Source)
。。。。。。。。。。。。
。。。。。。。。。。。。

mapred-site.xml 是按视频中配置的，日志中提到的24行是对应的该对象的value这一行。
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/jobhistory/done</value>
</property>

241374050 回复 241374050

已经解决。是因为自己漏写了 <configuration> </configuration> 。确实作为新手犯了个很2的错误。

241374050 回复爱＆有何不可

netstat -anp | grep 18088 , 可通过 ip:18088 来访问resource manager页面；如果显示127.0.0.1:18088, 则说明你需要在hosts文件中注释掉回环。

zzwzzwcool 回复 MarsJ

谢谢老师，我在宿舍是可以成功启动的（当时是在宿舍安装的），但到了实验室就出现了port22 no route to host问题（桥接网络），之前port 22: Connection refused可能是我用的NAT模式，看了网上一些方法防火墙和selinux都关闭了，还是no route to host，这个怎么弄，？？？谢谢老师

zzwzzwcool

看了老师给楼上的恢复，no route to host问题解决了，需要重新改etc/hosts中的映射，谢谢老师

zzwzzwcool

看了老师给楼上的恢复，no route to host问题解决了，需要重新改etc/hosts中的映射，谢谢老师

MarsJ 回复爱＆有何不可

1、18088访问不了的情况，首先检查RM和NM是否运行正常，其次，检查各个节点上这两个服务进程的日志，看是否有端口或host不可访问的问题。
2、因为我录课时没有分布式环境，只能给大家讲解伪分布式，但是也有提到，真正的分布式跟伪分布式的配置几乎没有差别，例如有一个差别就是你提到的副本数，伪分布式只有1个节点，当然副本数就是1，如果你的集群规模是>1的，那么你的副本数可以按需设置，默认是3，如果你只有2个节点，设3也是无用的。

MarsJ 回复爱＆有何不可

已回复了楼上那位同学，你也一起看下吧。就不复制粘贴了

MarsJ 回复 241374050

按错误日志，是格式不对，例如标签对没对上，<configuration><property><name></name><value></value></property></configuration>,仔细核对一下标签对

MarsJ 回复 241374050

有经验了哦，不错不错

爱＆有何不可回复 241374050

谢谢，按照你的命令，确实显示了127.0.0.1:18088，我把hosts文件的最上面的127.0.0.1映射注释掉了，再次执行netstat -anp | grep 18088。。。还是127.0.0.1:18088。。。是需要重新关了hadoop，再启动是吗？

爱＆有何不可回复 241374050

#127.0.0.1 localhost localhost.localdomain master
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

115.159.159.230 master
115.159.37.18 slave1
115.159.51.136 slave2
我把最上面的注释掉，关了重新启动后，发现没了resourcemanager，其余都有，我之前好像发现这个问题后，把注释放开的，看来还是不能注释那个啊

匿名傻姑娘

yarn应该是8088 端口访问吧 18088 只是配置文件有端口，而服务进程都没监听起来

MarsJ 回复匿名傻姑娘

端口配置哪个，就是哪个。8088或18088是自定义配置的。

rose&ling

老师，我虚拟机的ip地址重新打开就变了，然后我把shell里的会话地址改过来连接上后，但是hadoop集群启动失败，Starting namenodes on [bigdata]
bigdata: ssh: connect to host bigdata port 22: Connection timed out
bigdata: ssh: connect to host bigdata port 22: Connection timed out
怎么回事

rose&ling 回复 rose&ling

已经解决了