【Azure Data Platform】ETL工具(10)——ADF 集成运行时(Integration Runtimes,IR)

编程入门 行业动态 更新时间:2024-10-24 20:17:03

【Azure Data Platform】ETL<a href=https://www.elefans.com/category/jswz/34/1770073.html style=工具(10)——ADF 集成运行时(Integration Runtimes,IR)"/>

【Azure Data Platform】ETL工具(10)——ADF 集成运行时(Integration Runtimes,IR)

本文属于【Azure Data Platform】系列。
接上文:【Azure Data Platform】ETL工具(9)——ADF性能优化案例分享(1)
本文介绍ADF 的集成运行时

前言

Integration Runtime(IR)是ADF中很重要的一个组成部分,也是在很多性能问题的瓶颈所在。 IR指定用于执行活动的硬件类型、硬件的物理位置、硬件的所有者和维护者以及硬件可以连接到的数据存储和服务。每个链接服务都需要指定IR。 而每个管道也需要链接服务,所以链接服务和IR是组合在一起起到数据源和目标连接的作用。链接服务实现指定数据存储,IR实现运行操作。

IR种类

Azure IR

Azure IR使用的硬件资源及其基础架构都由微软托管。在使用时才付费。但是仅能访问公网的源。可以通过下图所示来创建Azure IR,注意图中红圈部分是一个逗号,说明它可以创建Azure IR和另外一种稍后介绍的自承载IR。


点进去之后可以选择对应的IR及其简介:

进行一些必要的配置,特别是区域选择:

还可以进行一些数据流配置,具体的每个项目说明轻自行查看:

AutoResolveIntegrationRuntime

它是内置的,默认的IR。这个IR不需要创建,它会根据你的源,目标和活动类型来决定所运行的区域。 这是不可控的,如果由于法规等因素你要限制在特定区域,则选择Azure IR。

自承载IR,Self-Hosted Integration Runtimes, SHIR

它跟Azure IR相对应,Azure IR由微软托管,SHIR由用户自己管理。而且它很重要的一点是:本地。Azure IR是对云上资源进行访问,要跟本地资源进行交互,则需要SHIR。 它像一个网关,在本地网络安装后,就可以打通Azure跟SHIR所在的机器的网络。
比如我就在自己的电脑上装了,然后把自己的电脑作为SHIR的服务器:

创建SHIR:

创建SHIR时,可以看到类型是自承载,并且不可改。


SHIR是需要下载一个安装包,同时使用下图打码的其中一个key进行注册,这个在前面【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure 已经演示过。

Azure-SSIS Integration Runtimes

它是由微软托管的,运行 SQL Server Integration Services (SSIS) 引擎的VM群集。用于执行SSIS 包来访问公网和私网的资源。

每种IR的适用场景

  • Azure IR:因为其只支持云环境,所以是云中数据复制,数据转换的首选。
  • SHIR: 特别适合本地与云的交互,注意SHIR还能支持本地跟本地的使用,只是中间通过了Azure Data Factory进行一些数据传输和转换而已。
  • SSIS IR:如果你有已经在用的SSIS包,那么可以通过ADF来执行。

如果一个活动使用了多个种类的IR。 会选择其中一种来使用,优先级来说,SHIR→Azure IR

更多推荐

【Azure Data Platform】ETL工具(10)——ADF 集成运行时(Integration Runtimes,IR)

本文发布于:2024-02-11 19:27:31,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1682925.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:工具   Platform   ETL   Azure   Data

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!