搭建hadoop环境遇到的问题

浏览: 1728

不断扩充中  嗯 ing~

目录

1、50070端口访问失败 ,已关闭防火墙。18088端口可以访问

2、datanode没有启动

3、jdk安装报错:Error occurred during initalization of VM java/lang/NoClssDefFoun

4、格式化hadoop报错java.lang.InternalError: internal error: SHA-1 not available.

5、执行hdfs namenode -format报错


遇到的问题:

1、50070端口访问失败 ,已关闭防火墙。18088端口可以访问

  •  i.查看日志

       $HADOOP_HOME/logs/下面的与NameNode相关的日志,查看日志后没有发现ERROR信息;

  • ii.检查50070端口是否启动
[root@wlh ~]#netstat  -anp | grep 50070
[root@wlh ~]#sh start-dfs.sh

2、datanode没有启动

[root@wlh sbin]# jps

15552 ResourceManager

15812 NodeManager

15365 SecondaryNameNode

15094 NameNode

18345 Jps*/

原因是 执行了多次格式化 ,解决方法:

  • a.删除current目录下的tmp文件夹,重新建立

              [root@wlh current]# rm -rf tmp

              [root@wlh current]# mkdir tmp

              [root@wlh tmp]# mkdir logs

  • b.删除logs文件夹,重新建立

              [root@wlh hadoop-3.0.0-alpha1]# rm -rf logs

              [root@wlh hadoop-3.0.0-alpha1]# mkdir logs

  • c.执行格式化

              [root@wlh hadoop]# hdfs namenode -format

  • d.启动服务

              [root@wlh hadoop]# /opt/hadoop-3.0.0-alpha1/sbin/start-dfs.sh

              [root@wlh hadoop]# /opt/hadoop-3.0.0-alpha1/sbin/start-yarn.sh

  • e.再次执行jps

              [root@wlh hadoop]# jps

              22017 ResourceManager

              22274 NodeManager

              21635 DataNode

              21813 SecondaryNameNode

              22443 Jps

              21550 NameNode

问题3、4 都是帮助其他朋友安装时遇到的问题,他用的jdk版本是jdk-8u121-linux-i586.rpm

3、jdk安装报错:Error occurred during initalization of VM java/lang/NoClssDefFoun

    出现此问题先检查环境变量配置是否正确,如果没问题就看一下lib和jre/lib中的rt.pack、tools.pack如果发现这两个文 的话,就是因为他们没有解压我们只需要把他们解压成rt.jar和tools.jar就一切OK了 

如: 

    Java 代码

    unpack200 rt.pack rt.jar

4、格式化hadoop报错java.lang.InternalError: internal error: SHA-1 not available.

Clipboard Image.png

  • 原因,找不到类,把java里面的jar全部加到classPath中,既 在profile文件中添加
 CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar 
 export PATH JAVA_HOME CLASSPATH

如果还不能解决问题,就换个jdk吧~

5、另一个小朋友的问题 执行hdfs namenode -format报错

Clipboard Image.png

解决方法:

  • 查看hosts和network两个文件中hostname配置

  Clipboard Image.png

    Clipboard Image.png

      Clipboard Image.png

  • 修改host文件中的主机名,reboot

       Clipboard Image.png

       Clipboard Image.png

  • 重新执行hdfs namenode -format

推荐 3
本文由 liliwu 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册