admin管理员组文章数量:1611939
容量调度器中，配得最多的应该就是capacity和maximum-capacity了，一个是当前队列的资源容量，一个是队列可使用的最大容量。多个队列的容量之和为100。
maximum-capacity这个参数还好理解，即队列可使用资源的上限。
假如有多个队列，每个队列都将maximum-capacity的值设置成与capacity一样，意味着每个队列只能使用固定大小的资源，不能超额使用其他队列空闲资源，这样，也就可能出现资源浪费或利用率低的情况。
因此，通常该值会设置成比capacity大。例如都设置为100，也就是每个队列最大都可以使用集群的全部资源。
但既然最大都可以使用集群的全部资源，那么capacity参数的作用和意义到底是什么，该参数又是如何限制用户资源使用的。
查看了官方文档，网上也看了不少文章，始终觉得没有讲透capacity这个参数的意义，索性直接撸源码。
结合源码，并对照日志，确认了几个关键点后，对自己的结论很是自信，立马邮件同步给组内的小伙伴。
队列的capacity参数是单个用户在该队列中所能使用资源的上限。
由于允许多个不同的用户向同一个队列提交任务，因此多个用户的不同任务的资源叠加起来可以超过capacity，但是不能超过maximum-capacity。
然而，没过多久，就收到了同事的答复邮件，并附带如下图示：队列配置10%的资源，用户提交了一个任务，使用的资源远超10%！
版权声明：本文标题：YARN——正确理解容量调度的capacity参数 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728619521a1166168.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论