第一步:安装spark
将官网下载好的spark-2.0.0-bin-hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系
[root@spark1 spark]
[root@spark1 spark]
[root@spark1 spark]
[root@spark1 spark-2.0]
export SPARK_HOME=/usr/spark/spark-2.0
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
[root@spark1 spark-2.0]
第二步:修改配置文件
[root@spark1 spark-2.0]
[root@spark1 conf]
[root@spark1 conf]
export JAVA_HOME=/usr/java/jdk
export SCALA_HOME=/usr/scala/scala-2.11
export SPARK_MASTER_IP=192.168.220.144
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.0/etc/hadoop
[root@spark1 conf]
[root@spark1 conf]
spark1
spark2
spark3
第三步:在spark2和spark3节点上也安装spark
传spark
[root@spark1 usr]
[root@spark1 usr]
传配置文件
[root@spark1 ~]
[root@spark1 ~]
使配置文件生效
[root@spark2 ~]
[root@spark3 ~]
[root@spark1 sbin]
[root@spark1 sbin]
5555 ResourceManager
6019 Jps
5651 NodeManager
5351 SecondaryNameNode
5224 DataNode
5134 NameNode
第四步:验证spark以及进入spark-shell
[root@spark1 sbin]