Prefect Cloud数据编排系统使用

数据编排系统使用"/>

Prefect Cloud数据编排系统使用

目录

一、Prefect Cloud介绍

二、信息备查

1、Prefect 官网地址

2、Prefect文档介绍

3、Prefect的Github地址

4、Prefec建立本地server 和UI

5、Prefect Cloud地址

三、Prefect安装和说明

1、安装prefect包

2、使用Prefect Cloud的使用流程

四、Prefect Cloud 使用

1、登录Prefect Cloud账号

（1）我选择的是Email登录，填写自己的email地址，点continue

 （2）Prefect Cloud会发送邮件，里面有登录code 和登录链接

 （3）查收自己的邮件，可以填写code，也可以从链接直接进入

2、设置App Keys

（1）设置app keys的位置

（2）设置API keys

（3） 新增API key

（4） 复制API key

3、创建工作区域 WorkSpace

        （1）通过命令行

        （2）通过Prefect Cloud平台

4、创建工作队列Work Queue

（1）通过Prefect Cloud平台选择Work Queues栏目创建

（2） 创建工作队列​编辑

5、本地开启代理监控队列

（1） Prefect Cloud端开启队列

（2） 本地开启队列

6、创建工作流

        ​​​​​​​（1） 创建工作流并部署

        ​​​​​​​（2） Prefect Cloud查看该工作流

（3） 查看部署工作流详情

（4）查看该工作流执行情况

7、设置工作流定期执行计划

五、总结

---

一、Prefect Cloud介绍

Prefect 是传统Apache AirFlow的成员出来做的项目，相比AirFlow有不少优势。

Prefect Cloud 允许计算机作为数据处理单元，结果传入Prefect云服务中，并在其中管理数据计算流程。 不需要安装Prefect UI和Prefect Server。对于隐私性不太高的数据计算项目，使用Prefect Cloud的个人版，简单快捷。 

目前Prefect已经开发的2代了，最新版本2.7.5。

本文主要介绍如何使用Prefect Cloud，如果想自己建立Prefect server 和前端UI，可以参看下面“Prefec建立本地server 和UI”

二、信息备查

1、Prefect 官网地址

Prefect - The New Standard in Dataflow Automation - Prefect

2、Prefect文档介绍

Welcome to Prefect 2 - Prefect 2 - Coordinating the world's dataflows

3、Prefect的Github地址

4、Prefec建立本地server 和UI

GitHub - PrefectHQ/server: The Prefect API and backend

GitHub - PrefectHQ/ui: The home of the Prefect UI

5、Prefect Cloud地址

Prefect Cloud 2.0

三、Prefect安装和说明

1、安装prefect包

pip install -U prefect

2、使用Prefect Cloud的使用流程

（1）先申请Prefect Cloud 账号

（2）再在Prefect Cloud里面创建工作空间Work Space

（3）再创建Prefect Cloud里面创建工作队列 Work Queue

（4）运行本地代理监控工作队列

（5）把数据工作流部署到Prefect Cloud中

（6） 设置定期执行计划

（7）定期执行后监控结果流程

四、Prefect Cloud 使用

1、登录Prefect Cloud账号

Prefect Cloud 2.0

（1）我选择的是Email登录，填写自己的email地址，点continue

 （2）Prefect Cloud会发送邮件，里面有登录code 和登录链接

 （3）查收自己的邮件，可以填写code，也可以从链接直接进入

2、设置App Keys

（1）设置app keys的位置

点最左下角的问号，然后点自己的账户名，进入到设置页面

（2）设置API keys

 

（3） 新增API key

新增的api key 可以设置是否过期，以及过期时间

（4） 复制API key

3、创建工作区域 WorkSpace

（1）通过命令行

XXXOUTLOOKCOM是自己的邮箱 datawork是自己创建workspace的名称

prefect cloud workspace set --workspace "XXXOUTLOOKCOM/datawork"

（2）通过Prefect Cloud平台

 

4、创建工作队列Work Queue

（1）通过Prefect Cloud平台选择Work Queues栏目创建

（2） 创建工作队列

5、本地开启代理监控队列

（1） Prefect Cloud端开启队列

（2） 本地开启队列

通过命令行执行该命令开启队列

prefect agent start  --work-queue "fund"

6、创建工作流

（1） 创建工作流并部署

from prefect.deployments import Deployment
from prefect import flow, task
# 创建工作流
@flow(name='fund_get_nav') # name是工作流的名称
def flow_fund_get_nav():print('hello world')# 部署工作流
def deplot():deployment = Deployment.build_from_flow(flow=flow_fund_get_nav,name="fund_get_nav",  # 工作流的名称version=1,   # 工作流版本work_queue_name="fund", # 工作流所在的工作队列的名称)deployment.apply()if __name__ == "__main__":deplot()

（2） Prefect Cloud查看该工作流

（3） 查看部署工作流详情

 

（4）查看该工作流执行情况

 

7、设置工作流定期执行计划

五、总结

Prefect Cloud首次配置可能略微需要熟悉一下，配置完之后，后续部署监控就非常方便了，希望这篇文章对大家有用。