谈谈你对Hive on Spark的理解?

0
说起理解,我的理解大概是这样1.在Hive里设置hive.execution.engine=spark,然后在Hive CLI里执行查询Hive中的表。
2.在Spark程序中通过hiveContext.sql()查询Hive中的表。
这两种都是Hive on Spark吗?还是说有什么区别?还请大神帮忙看看呀。
 
已邀请:
2

Bob - 同程旅游大数据+BI 架构师 2015-11-18 回答

hive.execution.engine=spark 表示将hive的引擎设置为spark。
在hiveContext.sql()也是利用spark引擎来完成hql的解析工作。
hive on spark最大的优势就是利用spark充当hql的解析、优化、执行引擎,让hql成为一个spark任务。

要回复问题请先登录注册