admin管理员组

文章数量:1611528

Hadoop学习（二）——Capacity Scheduler学习

目录：

1、Capacity Scheduler资源调度器的特点：

2、官方文档查看：

3、在Ambari上配置Resource Manager的Capacity Scheduler资源调度器：

4、结果展示：


1、Capacity Scheduler资源调度器的特点：

（1）当队列已满，Capacity Scheduler资源调度器不会强制释放Container，当一个队列资源不够用时，这个队列只能获得其它队列释放后的Container资源，即“弹性队列”。同时也可以为队列设置一个最大资源使用量，防止过多占用其他队列的资源。

（2）有一个专门的队列来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO资源调度器的时间。

（3）在一个队列内部，资源的调度采用的是FIFO（先进先出）策略

 

2、官方文档查看：

CONFIGURING YARN CAPACITY SCHEDULER WITH APACHE AMBARI

In this tutorial we are going to explore how we can configure YARN Capacity Scheduler from Ambari.

YARN’s Capacity Scheduler is designed to run Hadoop applications in a shared, multi-tenant cluster while maximizing the throughput and the utilization of the cluster.

Traditionally each organization has it own private set of compute resources that have sufficient capacity to meet the organization’s SLA. This generally leads to poor average utilization. Also there is heavy overhead of managing multiple independent clusters.

本文标签： HadoopCapacityscheduler

版权声明：本文标题：Hadoop学习（二）——Capacity Scheduler学习 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728620416a1166285.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。