本文介绍了在Google Cloud Composer中使用Airflow模板文件和TEMPLATE_SEARTATH的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我正在Google Cloud Composer上的气流DAG中扩展使用BigQueryOperator。
对于较长的查询,最好将每个查询放在它自己的.sql文件中,而不是把它弄乱了DAG。Airflow似乎支持所有SQL查询操作符,包括BigQueryOperator,如the documentation中所示。我的问题:在.sql模板文件中编写了一条我的SQL语句后,如何将其添加到Google Cloud Composer并在DAG中引用它?
推荐答案我找到了此问题的理想解决方案。在DAG声明中,您可以设置template_searchpath,这是Airflow将在其中查找jjja模板文件的默认路径。
为了使此功能在Cloud Composer实例中工作,您必须将其设置为Follows
dag = DAG( ... template_searchpath=["/home/airflow/gcs/plugins"], )请注意,我在本例中使用了plugins文件夹。您可以改用您的数据文件夹,也可以使用您希望放在存储桶中的任何文件夹。
更多推荐
在Google Cloud Composer中使用Airflow模板文件和TEMPLATE
发布评论