admin管理员组

文章数量:1588267

文章目录

  • 前言
  • 1、调度之痛 - 单点问题
  • 2、调度之痛 - 无法转移的调度流
  • 3、调度之痛 - 垃圾的虚拟环境
  • 4、调度之痛 - 业务时间
  • 5、DS 真香
  • 6、DS 不香的地方。
  • 7、目前的生产架构情况
  • 8、发一下目前的每日任务

前言

距离第一次尝试成功的文章（2021-06-17）https://blog.csdn/cs261244787/article/details/117987373 至今已经过去 3 年了。 说说楼主的切身体会，和生产环境使用的对比。

1、调度之痛 - 单点问题

相信搞过 Azkaban 集群的、或者其他调度集群的都为单点问题恶心的睡不着觉。 毕竟谁也不愿意大半夜起来看有没有出问题，改源码又不友好。睡不着觉也不是自己不想理会生产，每天好几千的调度 task ，又是大数据部门，又有公司老板看的内容，想睡觉基本吹牛逼了。楼主经历过 0、2、4、6、8 这样定闹铃起来看调度连续 3 天的状态。每天脑瓜子嗡嗡的，就好像十个老板同时锤爆你脑袋的那种痛苦。哎。。。。。一言难尽。

后续又是这样断断续续，搞调度的这段时间是职业生涯最苦的时候了，没功劳，苦劳领导也看不到。

我还不是最惨的，毕竟我负责技术，还有个专门负责人工肉眼查调度的哥们，他使用 Azkaban ，也二开了 Azkaban 配置代码（搞 azkaban 配置调度层级时候非常恶心）。但他经常是熬夜一通宵， 我 2 小时一起来是看集群有没有挂，把单点的 execute 搞起来，他就是调度如果错了，他要暂停后续依赖，重跑当前依赖，再去把后面调起来…。 跟他比我得痛苦轻得多

2、调度之痛 - 无法转移的调度流

azkaban 是非去中心化的，也就意味着单点出了问题你还要手动把已经分配的任务，

本文标签： 睡到重试机制让你能系统

版权声明：本文标题：DolphinScheduler 一个让你能一觉睡到大天亮的调度系统 886 调度流 0 失败，7239 task 成功。task 重试机制。 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728036608a1143041.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。