Kettle查询表数据循环到目标表

目标表"/>

Kettle查询表数据循环到目标表

简介：Kettle工具有一种业务场景是动态查询数据库中某张表的某个字段，将该字段当做循环变量，循环整个作业。下面就是记录该步骤。

一、思路

首先生产环境中我们需要做的一个业务就是：

按品牌循环执行：step3+step4：select * from dwd_xxxx where tenant_id = '${tenant_id}'

在执行一次全部品牌的，brand_id传'-'

二、简化Demo

2.1.文件图

以下是我们这次Demo的主要文件，共计3个

2.2.JOB一览图

2.3.Ktr文件图-001_查询品牌字段

表输入

写日志

2.4.Ktr文件图-002_输出品牌到目标表

双击该转换组件，设置执行每一个输入行

从结果获取记录

表输入

表输出

2.5.数据核对

核对来源表数据和目标表数据量即可

在来源表这里，实质上我们是查询了某个租户的所有品牌有多少门店数据

最后在查询一下目标表的数据量即可

结论：Demo文件抓取到的数据没有问题，该文件可投入到生产环境中进行数据抓取。

2.6文件获取

老王玩编程 关键字：Kettle品牌循环

三、投入生产

这个测试的话还是比较麻烦的，需要一个品牌一个品牌的将数据跑好，备份起来，然后用Kettle跑，跑完测试一下。