KETTLE 循环抓分库的数据

浏览: 2353

接触KETTLE有段时间了,关于最近遇到的一个问题solution和大家分享下(有前辈指导才完成的),代码可以参考附件,desktop.rar

需求说明   大表被分成10个库,每个库又分32张表,获取每个库表的数据

解决思路:DB的主机名,库名作变量=〉循环获取DB 信息,从表中抓数据,总流程如下



1. 拿到DB 的主机名,库名作为集合,表信息通过DB TABLE 来控制,这步是放在transformer中

  select ltrim(db_ip) as IP,ltrim(DB_SID_CM_coupon) aS SID from db_config_test

 

2.  通过JS  来控制这段变量,把IP,主机名赋给变量

3. 下一块通过循环控制,循环控制器,控制次数

4. 通过JS 整块处理变量,循环往DB 中传参数

5.GetData中资料和平常表插入写的一样,最主要原DB 改成动态抓取,这里配置DB变量,其它写法和我们平常的一样


  


  

推荐 4
本文由 AndyShi 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

2 个评论

很不错呀,支持。
很详细的。

要回复文章请先登录注册