Spark job server context 管理问题

0
请问 使用spark job server 提交spark 任务,想编写代码将提交任务自动化,不知道如何管理已经创建的context,比如已经创建context1 ,context2  先进来的任务使用context1 执行,后进来的任务2使用context 2 执行,在两个任务执行时,又进来了任务3,任务3如何得知所有context已经在使用,任务执行完后,如何告知context 已经使用完。
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-02-19 回答

首先你的理解有问题,每个通过spark-submit提交的任务都会新建Context.而这些Context需要和Master通信,请求资源,Master熟悉集群的资源,若发现集群资源满足该Context对资源的请求,则调度该Context进而实例化出Application,而这些Context在Master里面的调度是遵循FIFO的调度模式,且是优先满足资源满足Context的这种情况;

要回复问题请先登录注册