spark sql查询千万级别的数据1-2秒算不算很慢?
0
求教,公司刚刚分派的任务是用spark做交互式实时查询,测试环境:8g一核心虚拟机2台,数据量2G左右,测试下来的结果是每次查询消耗差不多1~2秒的,求教:
1. 这样的数据正常吗?
2. 有没有可以提升的空间?
3. spark 这样的用法是不是正确?
(本人刚入门小白一个)
1. 这样的数据正常吗?
2. 有没有可以提升的空间?
3. spark 这样的用法是不是正确?
(本人刚入门小白一个)
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
1 个回复
牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-06-03 回答
赞同来自:
所以,你在这种测试的环境下,跑出这个结果,已经算是比较理想了。
一般性能要求不是很高的情况下,数据在5秒内刷新出来,原则上都是可以接受的。
如果非要提升,肯定是有空间的。比如提前处理汇总数据,将数据cache住等等。
没有明白你说的spark这样的用法是什么用法~~