Apache Airflow (五) :DAG调度触发时间

编程入门 行业动态 更新时间:2024-10-26 16:27:24

Apache Airflow (五) :DAG调度触发<a href=https://www.elefans.com/category/jswz/34/1771441.html style=时间"/>

Apache Airflow (五) :DAG调度触发时间

🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。

 🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频


在Airflow中,调度程序会根据DAG文件中指定的“start_date”和“schedule_interval”来运行DAG。特别需要注意的是Airflow计划程序在计划时间段的末尾触发执行DAG,而不是在开始时刻触发DAG,例如:

default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 4),  # 第一次开始执行的时间,为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'myairflow_execute_bash', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(days=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)

以上配置的DAG是从世界标准时间2021年9月4号开始调度,每隔1天执行一次,这个DAG的具体运行时间如下图:

自动调度DAG 执行日期

自动调度DAG实际执行触发时间

2021-09-04,00:00:00+00:00

2021-09-05,00:00:00+00:00

2021-09-05,00:00:00+00:00

2021-09-06,00:00:00+00:00

2021-09-06,00:00:00+00:00

2021-09-07,00:00:00+00:00

2021-09-07,00:00:00+00:00

2021-09-08,00:00:00+00:00

2021-09-08,00:00:00+00:00

2021-09-09,00:00:00+00:00

... ...

... ...

以上表格中以第一条数据为例解释,Airflow正常调度是每天00:00:00 ,假设当天日期为2021-09-04,正常我们认为只要时间到了2021-09-04 00:00:00 就会执行,改调度时间所处于的调度周期为2021-09-04 00:00:00 ~ 2021-09-05 00:00:00 ,在Airflow中实际上是在调度周期末端触发执行,也就是说2021-09-04 00:00:00 自动触发执行时刻为 2021-09-05 00:00:00。

如下图,在airflow中,“execution_date”不是实际运行时间,而是其计划周期的开始时间戳。例如:execution_date 是2021-09-04 00:00:00 的DAG 自动调度运行的实际时间为2021-09-05 00:00:00。当然除了自动调度外,我们还可以手动触发执行DAG执行,要判断DAG运行时计划调度(自动调度)还是手动触发,可以查看“Run Type”。


更多推荐

Apache Airflow (五) :DAG调度触发时间

本文发布于:2023-11-15 00:35:42,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1590569.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:时间   Apache   Airflow   DAG

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!