问个问题, Driver 我应该怎么理解呢? spark master 和 driver 有着什么关系?

0
已邀请:
1

Bob - 同程旅游大数据+BI 架构师 2015-10-23 回答

master 是主控,负责接收客户端提交的作业,管理worker,并通知worker启动driver和executor
driver是一个spark作业的主进程,负责这个作业的解析,并调度作业任务到executor中。
 
所以master只有一个,启动后主进程就不变化
driver则和提交的spark作业有关。

要回复问题请先登录注册