zeppelin 安装移植简述

复制zeppelin目录或下载解压 zeppelin

scp -q -r /cnn/zeppelin-0.8.0-bin-all user@hostname:/python-project

scp -q -r /cnn/spark-2.3.2-bin-hadoop2.7/ user@hostname:/python-project

或

下载网址：http://zeppelin.apache.org/download.html 

wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.0/zeppelin-0.8.0-bin-all.tgz

包含了所有的interpreter

tar -xvf zeppelin-0.8.0-bin-all.tgz

复制spark目录或下载解压 spark

scp -q -r /cnn/spark-2.3.2-bin-hadoop2.7 user@hostname:/python-project

scp -q -r /cnn/spark-2.3.2-bin-hadoop2.7/ user@hostname:/python-project

或

下载网址：http://spark.apache.org/downloads.html

wget http://mirror.bit.edu.cn/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz

tar -xvf spark-2.3.2-bin-hadoop2.7.tgz

配置

设置hadoop

spark-2.3.2-bin-hadoop2.7/conf/hive-site.xml

spark-2.3.2-bin-hadoop2.7/conf/hdfs-site.xml

spark-2.3.2-bin-hadoop2.7/conf/core-site.xml

若在本地运行，需删除此三文件；

若集群计算，除配置上述三文件，还需如下配置 IP 地址：

设置集群 IP 及访问权限

/etc/hosts

192.168.x.x bigdatamster

192.168.x.x bigdatanode0

192.168.x.x bigdatanode1

192.168.x.x bigdatanode5

192.168.x.x bigdatanode6

192.168.x.x bigdatanode7

192.168.x.x bigdatanode8

设置java和spark路径

~/.bashrc

export JAVA_HOME=/cnn/jdk/jdk1.8.0_171

export SPARK_HOME=/cnn/spark-2.3.2-bin-hadoop2.7

设置 zeppelin 登录账号

zeppelin-0.8.0-bin-all/conf/shiro.ini

user = password, admin

spark_submit 设置

zeppelin-0.8.0-bin-all/conf/zeppelin-env.sh

export SPARK_SUBMIT_OPTIONS="--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0 --driver-class-path /cnn/jars/ojdbc7.jar:/cnn/jars/bijdbc.jar:/cnn/jars/postgresql-42.2.2.jar"

配置 解释器

在 web 访问的 Interpreter 中配置， 或修改 /cnn/zeppelin-0.8.0-bin-all/conf/interpreter.json 

在 pyenv 中启动 zeppelin

export PYENV_ROOT="/cnn/.pyenv"

export PATH="$PYENV_ROOT/bin:$PATH"

eval "$(pyenv init -)"



pyenv activate env365

bin/zeppelin-daemon.sh start

web访问

http://ip:8080/#/

zeppelin 移植

/cnn/zeppelin-0.8.0-bin-all/

/cnn/spark-2.3.2-bin-hadoop2.7/

/cnn/jars/

/cnn/jdk/jdk1.8.0_171/

/cnn/.pyenv

/etc/hosts

~/.bashrc

hosts中 IP 设置跟 hadoop 集群有关，且有访问权限

.bashrc中有 pyenv 的路径设置