最后还是决定安装Hortonworks 2.6.4.0,使用ambari自动安装模式
具体参考
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html
具体流程
0.检查和准备
就是一些常规内容,按照文档做就可以了
注意主机点和其他机器的免密登陆
还有每台机器时间同步
如果用主机名,注意每台机器的hostname
--check hostname
hostname -f
--防火墙和SELinux
systemctl disable firewalld
service firewalld stop
Disable SELinux
cat /etc/selinux/config
SELINUX=disabled
1.安装ambari-server
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
yum install ambari-server
ambari-server setup
su ambari
ambari-server start
ambari-server status
ambari-server stop
2.配置
记录一些注意事项,配置hive的时候会提示要配置mysql的jdbc server,不配置也能结束,但是不能启动,还是要配置.
ambari-server setup --jdbc-db=mysql --jdbc-driver=/yourpath/jars/mysql-connector-java.jar
由于其他节点也需要在线安装,yum源有问题也会失败.
3.检查 spark脚本
在安装spark client的节点
cd /usr/hdp/current/spark2-client
./bin/spark-submit --master yarn-client --num-executors 1 --driver-memory 512m --executor-memory 512m --executor-cores 1 examples/src/main/python/pi.py 100
4.其他一些问题
配置过程中需要记录的用户密码很多,需要的数据库太多了,
ambari需要postgres
hive使用的
mysql
ldap
Oozie Server 使用Derby Database
Grafana Admin
由于使用python3在spark运行,接下来还需要安装python3,还要总结下.
