admin管理员组文章数量:1611569
yarn有一下三种资源调度策略
1.FIFO 先进先出策略,某一时间段只有有一个job占用资源,后面的job要等待前面的job结束才可以获取资源
2.capacity scheduler 把资源按队列划分,在job执行的时候,指定资源队列,队列之间是隔离的,但是队列内部是FIFO机制
3.fair scheduler 当job1在执行的时候,job2进来后,可以从job1的资源队列获取一定的资源执行jobs2,不需要等待。
下面分别对资源配置策略进行配置
默认是FIFO,不需要配置
capacity scheduler:
关闭yarn, stop-yarn.sh
先备份$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml
然后在这个配置中加上如下配置:
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>prod,dev</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.queues</name>
<value>eng,science</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.prod.capacity</name>
<value>40</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.capacity</name>
<value>60</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
<value>75</value>
</property>
同步配置文件到所有节点
scp capacity-scheduler.xml root@192-168-100-217:/usr/local/hadoop-2.7.6/etc/hadoop/
scp capacity-scheduler.xml root@192-168-100-225:/usr/local/hadoop-2.7.6/etc/hadoop/
scp capacity-scheduler.xml root@192-168-100-34:/usr/local/hadoop-2.7.6/etc/hadoop/
启动yarn:
start-yarn.sh
通过yarn的web界面可以看到配置效果
fair scheduler配置:
如图,有两个队列A和B,如果job1执行,并且指定队列A,那么还是会占用所有资源,当job2开始,指定队列B,那么就会从所有资源分出一定比例给job2,如果当job3又进来,并且指定了队列B,那么就会从队列B再分一定比列的资源给job3.
1.先关闭yarn, stop-yarn.sh 开启fair机制:在yarn-site.xml中配置:
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
2.在$HADOOP_HOME/etc/hadoop下创建文件fair-scheduler.xml,并且配置:
<?xml version="1.0"?>
<allocations>
<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
<queue name="prod">
<weight>40</weight>
<schedulingPolicy>fifo</schedulingPolicy>
</queue>
<queue name="dev">
<weight>60</weight>
<queue name="eng"/>
<queue name="science"/>
</queue>
</allocations>
3.同步配置文件,启动yarn
scp fair-scheduler.xml root@192-168-100-217:/usr/local/hadoop-2.7.6/etc/hadoop/
scp fair-scheduler.xml root@192-168-100-225:/usr/local/hadoop-2.7.6/etc/hadoop/
scp fair-scheduler.xml root@192-168-100-34:/usr/local/hadoop-2.7.6/etc/hadoop/
start-yarn.sh
可以从yarn的web界面看下图的效果
本文标签: 资源配置策略yarnApacheCapacity
版权声明:本文标题:apache yarn资源配置策略(FIFO,capacity,fair) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1728620661a1166315.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论