admin管理员组文章数量:1609694
什么是ETL
抽取(Extract)： ⼀般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎，实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。
转换(Transform)： 任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下⾯ ⼀些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值和聚集值
加载(Load)： 将数据加载到⽬标系统的所有操作。
主流ETL工具
Kettle(PDI)
Informatica PowerCenter
IBM Datastage
SSIS
Talend
Kettle也称为PDI
Kettle 的 Spoon 设计器⽤来设计转换（ Transformation）和 作业（ Job）。 转换主要是针对数据的各种处理，⼀个转换⾥可以包含多个步骤（ Step） 。 作业是处理流程，⼀个作业⾥包括多个作业项（ Job Entry），⼀个作 业项代表了⼀项⼯作，转换也是⼀个作业项
Transformation -Step
Job为处理流程
Job 中的组件称之为 Job Entry
Job-JobEntry
PDI介绍-界面
1为菜单栏
2为导航栏
3为操作区
4右上Connect为连接存储库
PDI介绍-搜索
可以通过搜索框搜索组件，最好是将PDI切换成英文，中文会有很多组件找不到。
修改方式：点击菜单栏Tools–>Options,在弹出窗口选择Look&Feel,选Preferred Language为English
PDI介绍-存储库
存储库是用来存放transformations, jobs等开发的ETL及其相关内容
存储库分为：Pentaho Repository
File Repository
DataBase Repository
Tips：很多使用开源版本的PDI没有使用存储库管理，只保存在本地，或者使用Git来进行管理
PDI参考示例
如内容有错欢迎大家指正！！！
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事！
版权声明：本文标题：kettle(Pentaho Data Integration)-ETL及PDI概念介绍 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728577585a1164663.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论