求问个问题 大家部署spark集群的时候是和hadoop用的相同的机器 还是 分离开的

0
已邀请:
0

Bob - 同程旅游大数据+BI 架构师 2016-10-13 回答

一般建议分开部署。
因为spark集群对内存的依赖比较高,所以尽量分配更多的内存给spark
然后你可以部署spark on yarn模式。
1

MarsJ - 大数据玩家~DS 2016-10-18 回答

资源有限时可访在一个集群,如楼上Bob大神说的,Spark对内存要求高,但是有些场景下,为了避免维护2个集群,会将Hadoop和Spark不属于一个集群上。看具体场景和需求。

要回复问题请先登录注册