谈谈你对Hive on Spark的理解?
0
说起理解,我的理解大概是这样1.在Hive里设置hive.execution.engine=spark,然后在Hive CLI里执行查询Hive中的表。
2.在Spark程序中通过hiveContext.sql()查询Hive中的表。
这两种都是Hive on Spark吗?还是说有什么区别?还请大神帮忙看看呀。
2.在Spark程序中通过hiveContext.sql()查询Hive中的表。
这两种都是Hive on Spark吗?还是说有什么区别?还请大神帮忙看看呀。
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
1 个回复
Bob - 同程旅游大数据+BI 架构师 2015-11-18 回答
赞同来自: seng 、dalianpa
在hiveContext.sql()也是利用spark引擎来完成hql的解析工作。
hive on spark最大的优势就是利用spark充当hql的解析、优化、执行引擎,让hql成为一个spark任务。