在Google Cloud Composer中使用Airflow模板文件和TEMPLATE

本文介绍了在Google Cloud Composer中使用Airflow模板文件和TEMPLATE_SEARTATH的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

我正在Google Cloud Composer上的气流DAG中扩展使用BigQueryOperator。

对于较长的查询，最好将每个查询放在它自己的.sql文件中，而不是把它弄乱了DAG。Airflow似乎支持所有SQL查询操作符，包括BigQueryOperator，如the documentation中所示。

我的问题：在.sql模板文件中编写了一条我的SQL语句后，如何将其添加到Google Cloud Composer并在DAG中引用它？

推荐答案

我找到了此问题的理想解决方案。在DAG声明中，您可以设置template_searchpath，这是Airflow将在其中查找jjja模板文件的默认路径。

为了使此功能在Cloud Composer实例中工作，您必须将其设置为Follows

dag = DAG( ... template_searchpath=["/home/airflow/gcs/plugins"], )

请注意，我在本例中使用了plugins文件夹。您可以改用您的数据文件夹，也可以使用您希望放在存储桶中的任何文件夹。