Mesos初步尝试

编程入门 行业动态 更新时间:2024-10-24 06:25:03

记得几年前,用做分布式批处理的时候环境搭建很麻烦,虽然参数的分片算法、配置都搞定了,但是虚拟机的环境建立是个头疼的事:

  1. 节点要自己手工建
  2. 环境变量没法从前往后传递
  3. 批处理程序改动后的分发麻烦
  4. 批处理程序的状态需要自己写代码通知前端系统
  5. 日志查看麻烦

现在讲讲基于Mesos怎么做
由于的历史原因,mesos没有为封装wrapper(java/python都有,连js都有,唯独没有的),正要放弃时,看到有HTTP接口,就用它了,下面介绍几个重要命令:

  1. SUBSCRIBE,这个是基于HTTP的事件监听订阅,mesos有什么消息过来的话都是通过这个接口过来的(Scheduler必须一直和mesos保持连接,针对这个命令,mesos会源源不断的发送消息到scheduler)
  2. OFFERS,这个是mesos发来的消息类型之一,代表说mesos现在有多少多少资源(cpu, memory, disk)等等,问我们自制的Scheduler要不要资源,要的话Scheduler需要回复ACCEPT,不要的话回复DECLINE来拒绝资源
  3. ACCEPT,这个命令需要带上需要的资源、命令、运行在哪个mesos-agent上,这里的命令最简单的就是shell命令,比如: echo 'hello',也可以是sleep 100, 当然也可以是dotnet命令
  4. DECLINE,没有仔细研究过,得看官方文档


基本的命令就是上面这几个了。

demo大家可以看看这个。https://github/daibinhua888/MesosFramework

展望:能做很复杂的资源伸缩,比如做微服务管理平台、消息队列的复杂队列资源申请、分布式批处理系统
遗憾:无法申请资源,有REQUEST方法,但是默认全部忽略,除非自己编写allocator

更多推荐

Mesos初步尝试

本文发布于:2023-06-14 07:28:00,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1451548.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:Mesos

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!