Zeppelin基本介绍-配置Livy接口

浏览: 3632

Zeppelin的安装和如何使用本地Spark可以参考前一个文档

要使用远程的Spark就需要使用Livy接口。

由于开始准备使用zeppelin-0.8.0-bin-netinst的,没有配置成功,还是使用的完全版,说明以完全版为例。

Spark的Livy服务

我使用HDP,在Ambari查一下Livy 服务


如果不存在可以通过host/spark client所在机器增加



Zeppelin Livy Interpreter配置

修改Interpreters, 由于使用完全版,Livy配置已经有了,修改livy地址

zeppelin.livy.url=http://livyhost:8998


Zeppelon调用livy服务

使用%livy.pyspark替换%spark.pyspark


遇到的一些问题

impersonate错误

开始执行%livy.pyspark报了这个错

ERROR: org.apache.hadoop.security.authorize.AuthorizationException: User: livy is not allowed to impersonate livy

修改配置HDFS\Custom core-site


netinst切换成all 版本后Firefox无法显示

清浏览器缓存即可,怀疑2个版本的js文件可能不兼容

jdk版本和hadoop版本问题导致%spark.pyspark报错

我的机器原来有一些hadoop相关配置,和新使用的Spark环境冲突,报了这个错

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric()

冲设了一些环境变量解决

unset HADOOP_HOME
unset HIVE_HOME
unset CLASSPATH
推荐 1
本文由 seng 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册