spark部署选型问题

0
初次接触spark,对于spark的部署问题,查看了很多google,百度,都是很简单的几句话。而且不够全面,都是针对某一种做的部署。但是整体的优缺点貌似没有人提起。看看官网,也是没有详细介绍选型问题,好乱的感觉。希望有实际生产安装的朋友提供下建议。谢谢!
已邀请:
0

MarsJ - 大数据玩家~DS 2016-06-28 回答

可以用Spark on Yarn,个人感觉主要看自己的需求和现有配置,很多Spark集群都基于已有的Hadoop集群做的,所以可以利用现有的HDFS做存储,YARN做资源协调等。
如果在没有hadoop集群的基础上直接架设Spark,建议可以以HDFS做存储(或AWS等),然后用Spark Standalone模式;
如果已经有Hadoop集群并且HDFS和YARN都已经跑得很成熟了,可以直接使用Spark on Yarn 模式
其实主要差别在于Spark Standalone是Spark自己原生的资源管理,有这个模式也带来了很多灵活性,而不是说仅依赖于YARN或Mesos等。
0

wcg57 2016-05-20 回答

提供下官网的install url也行,我感觉我都找遍了官网,都没有发现install在哪里!!!
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-05-23 回答

难道不是这个地址地址么?http://spark.apache.org/docs/latest/
直接看官方文档啊。
0

Bob - 同程旅游大数据+BI 架构师 2016-06-28 回答

我们在实际使用过程中使用yarn来进行spark的任务调度。
 
参考:https://spark.apache.org/docs/ ... .html

要回复问题请先登录注册