请问 各位大牛 hive on spark 跑的 一个sql 都要 1 -2 min 这正常吗

0
已邀请:
0

MarsJ - 大数据玩家~DS 2016-10-18 回答

正常。如果Spark和Hadoop在一个集群上,那么是共享资源的,而且正常情况下,你这里说的1-2分钟肯定比单纯的MR要快。否则需要查清原因。
0

Bob - 同程旅游大数据+BI 架构师 2016-10-18 回答

这个不是很好给出回答啊。
 
首先你也没有说下你的sql逻辑是否复杂,数据量情况,spark集群大小情况
 
一般在线上,我们使用jdbc来执行hive on spark,接口性能约10-20秒的样子

要回复问题请先登录注册