spark sql查询千万级别的数据1-2秒算不算很慢?

0
求教,公司刚刚分派的任务是用spark做交互式实时查询,测试环境:8g一核心虚拟机2台,数据量2G左右,测试下来的结果是每次查询消耗差不多1~2秒的,求教:
1. 这样的数据正常吗?
2. 有没有可以提升的空间?
3. spark 这样的用法是不是正确?
(本人刚入门小白一个)
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-06-03 回答

一般大数据的服务器采用的都是服务器都是物理实体机。而且一般配置都比较高。
所以,你在这种测试的环境下,跑出这个结果,已经算是比较理想了。
一般性能要求不是很高的情况下,数据在5秒内刷新出来,原则上都是可以接受的。
如果非要提升,肯定是有空间的。比如提前处理汇总数据,将数据cache住等等。
没有明白你说的spark这样的用法是什么用法~~

要回复问题请先登录注册