spark mongodb 集群部署

0
Spark主要负责处理mongo中的数据,怎么部署集群,需要部署yarn,Hadoop么?
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-04-18 回答

1.看你使用什么调度模式。如果要使用yarn资源管理框架,使用yarn这种调度模式,那需要部署hadoop中的yarn。
2.Spark计算虽然不依赖hadoop,但是在Spark计算过程中很多的中间结果选择写入hdfs还是比较常见的,例如说shuffle过程、设置checkpoint等。
3.综上,建议还是部署hadoop集群吧,这样yarn资源调度框架也部署了,三全其美,何乐不为

要回复问题请先登录注册