Yarn如何设置多任务并发执行

0
如下图,我跑了若干小任务(示例中的pi程序),但是发现总是多任务一个挨着一个去执行,同时运行的任务就1个,内存占用不完。我希望能多任务并发,而且内存利用率高,如何做到,请教各位了~
相关配置如下:
yarn-site
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
          </property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>10240</value>
          </property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
        <value>56832</value>
          </property>

<property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>8192</value>
          </property>
<property>
    <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx8192m</value>
          </property>



mapreduce-site
<property>
    <name>mapreduce.map.memory.mb</name>
        <value>4096</value>
          </property>
<property>
    <name>mapreduce.map.java.opts</name>
        <value>-Xmx4096m</value>
          </property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
        <value>4096</value>
          </property>
<property>
    <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx4096m</value>
          </property>
<property>
    <name>mapreduce.task.io.sort.mb</name>
        <value>2047</value>
          </property>
已邀请:
0

Bob - 同程旅游大数据+BI 架构师 2016-02-14 回答

配置yarn的队列。

要回复问题请先登录注册