分布式任务调度平台XXL-JOB使用教程

编程知识行业动态更新时间:2024-06-13 00:22:51

这个是使用教程，要学习安装部署教程，看这：

https://blog.csdn/foxofwind/article/details/121009183https://blog.csdn/foxofwind/article/details/121009183

要学习集成CAS单点登录，看这：

调度平台XXL-JOB集成CAS单点登录_foxofwind的博客-CSDN博客本文用最简单的方法来集成，不引入第三方权限框架，用最小改动，换取以后升级的便利。需要集成的是xxl-job-admin项目，如果有小伙伴还没有部署XXL-JOB，可以官网教程来搞一个分布式任务调度平台XXL-JOBXXL-JOB的权限设置比较简单，用的是拦截器，所以我们就在这个基础上来集成CAS：1.pom.xml引用cas快速配置包：<dependency> <groupId>net.unicon.ca.https://blog.csdn/foxofwind/article/details/120849504

啥是XXL_JOB？

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司（目前官网主动上报的446家）线上产品线，开箱即用。

一.XXL_JOB架构

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

调度模块（调度中心）：
负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
执行模块（执行器）：
负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；
接收“调度中心”的执行请求、终止请求和日志请求等。

二.使用教程

因为使用比较简单，就不多说了，直接上图，大家多用多试很快就能熟练。

1.主界面运行报表

2.任务管理

2.1 新建任务 GLUE(Java) 任务

2.1.1 点击右上角新建

2.1.2 GLUE(Java) 任务开发：

2.2 GLUE(Shell) 任务

2.3 GLUE(Python) 任务

2.4 执行任务

右边操作执行一次

2.5 启动调度任务

启动之后任务就进入正常调度了

2.6 任务参数详解

配置属性详细说明：

基础配置：
    - 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
    - 任务描述：任务的描述信息，便于任务管理；
    - 负责人：任务的负责人；
    - 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
触发配置：
    - 调度类型：
        无：该类型不会主动触发调度；
        CRON：该类型将会通过CRON，触发任务调度；
        固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；
        固定延迟：该类型将会以固定延迟，触发任务调度；按照固定的延迟时间，从上次调度结束后开始计算延迟时间，到达延迟时间后触发下次调度；
    - CRON：触发任务执行的Cron表达式；
    - 固定速度：固件速度的时间间隔，单位为秒；
    - 固定延迟：固件延迟的时间间隔，单位为秒；
任务配置：
    - 运行模式：
        BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 "JobHandler" 属性匹配执行器中任务；
        GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；
        GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；
        GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；
        GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；
        GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；
        GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；
    - JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；
    - 执行参数：任务执行所需的参数；     
高级配置：
    - 路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
        FIRST（第一个）：固定选择第一个机器；
        LAST（最后一个）：固定选择最后一个机器；
        ROUND（轮询）：；
        RANDOM（随机）：随机选择在线的机器；
        CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
        LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
        LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
        FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
        BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
        SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
    - 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。
    - 调度过期策略：
        - 忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；
        - 立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
    - 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
        单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
        丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
        覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
    - 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
    - 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；

3.调度日志

3.1.调度日志可以各种条件筛选

3.2.执行日志

4.执行器管理

4.1 新建执行器

4.2 执行器属性说明

AppName: 是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
名称: 执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
排序: 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
注册方式：调度中心获取执行器地址的方式；
    自动注册：执行器自动进行执行器注册，调度中心通过底层注册表可以动态发现执行器机器地址；
    手动录入：人工手动录入执行器的地址信息，多地址逗号分隔，供调度中心使用；
机器地址："注册方式"为"手动录入"时有效，支持人工维护执行器的地址信息；

5.用户管理

三.常用调度系统比较

功能	Xxl-job	Azkaban	Airflow	zeus
调度模块	自实现	Quartz	自实现	自实现
调度中心HA	支持	不支持	不支持	应该支持吧
执行器HA	支持	支持	支持	支持
业务耦合度	低，与实际业务无耦合。	低，与实际业务无耦合。	低，与实际业务无耦合。	低，与实际业务无耦合。
Job类型	BEAN、Java、Shell、Python、PHP、NodeJS、PowerShell等，支持插件式扩展	Shell、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式扩展	Python、Shell、HTTP、Mysql等，支持Operator的自定义扩展。	Shell
Executor触发	RPC	Restful	Restful	RPC
工作流	简单支持，可配置任务级联触发，不支持DAG（官方计划2.4版支持DAG，现在是2.3）	支持，自定义DSL语法	支持，基于Python DAG	应该支持DAG吧
管理界面	简单美观，符合国人习惯，上手简单	简单，整体功能逻辑清晰，上手简单	该有的功能都有，但是就是让你用得不爽。	友好的界面显示、配置简单
部署运维	简单	简单	较复杂，包括WebServer、Scheduler、Worker和Flower（可选，用于）	适中
单点故障	无	Web Server存在单点故障风险	Scheduler存在单点故障风险。	未知，2014年开源后未进行维护，文档缺失