如何设置Airflow中DAG之间的依赖关系?

编程入门 行业动态 更新时间:2024-10-26 16:32:19
本文介绍了如何设置Airflow中DAG之间的依赖关系?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述

我正在使用 Airflow 计划批处理作业。我有一个DAG(A)每晚运行,另一个DAG(B)每月运行一次。 B取决于A已成功完成。但是B运行需要很长时间,因此我想将其保存在单独的DAG中,以实现更好的SLA报告。

I am using Airflow to schedule batch jobs. I have one DAG (A) that runs every night and another DAG (B) that runs once per month. B depends on A having completed successfully. However B takes a long time to run and so I would like to keep it in a separate DAG to allow better SLA reporting.

如何使运行DAG B依赖于当天成功运行的DAG A?

How can I make running DAG B dependent on a successful run of DAG A on the same day?

推荐答案

您可以使用名为ExternalTask​​Sensor的运算符来实现此行为。 将安排DAG(B)中的任务(B1),并等待DAG(A)中的任务(A2)成功完成

You can achieve this behavior using an operator called ExternalTaskSensor. Your task (B1) in DAG(B) will be scheduled and wait for a success on task (A2) in DAG(A)

外部任务传感器文档

更多推荐

如何设置Airflow中DAG之间的依赖关系?

本文发布于:2023-11-23 19:32:37,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1622624.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:如何设置   关系   Airflow   DAG

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!