Zeppelin的安装和如何使用本地Spark可以参考前一个文档
要使用远程的Spark就需要使用Livy接口。
由于开始准备使用zeppelin-0.8.0-bin-netinst的,没有配置成功,还是使用的完全版,说明以完全版为例。
Spark的Livy服务
我使用HDP,在Ambari查一下Livy 服务
如果不存在可以通过host/spark client所在机器增加
Zeppelin Livy Interpreter配置
修改Interpreters, 由于使用完全版,Livy配置已经有了,修改livy地址
zeppelin.livy.url=http://livyhost:8998
Zeppelon调用livy服务
使用%livy.pyspark替换%spark.pyspark
遇到的一些问题
impersonate错误
开始执行%livy.pyspark报了这个错
ERROR: org.apache.hadoop.security.authorize.AuthorizationException: User: livy is not allowed to impersonate livy
修改配置HDFS\Custom core-site
netinst切换成all 版本后Firefox无法显示
清浏览器缓存即可,怀疑2个版本的js文件可能不兼容
jdk版本和hadoop版本问题导致%spark.pyspark报错
我的机器原来有一些hadoop相关配置,和新使用的Spark环境冲突,报了这个错
java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric()
冲设了一些环境变量解决
unset HADOOP_HOME
unset HIVE_HOME
unset CLASSPATH