利用Jenkins自动部署工具间接构建kettle的调度平台

浏览: 1984

     目前完全为kettle定制的调度平台 (免费的)目前是没有的 ,(据我所知,商业版的pentaho完整的bi解决方案里面是有调度平台的,那个调度平台不在kettle里面,而在另外的一个bi服务器里面,所以调度平台是很重要的,起码官方知道有这个必要性)  

      而我提到的这些这工具都是随着hadoop和软件开发里面的自动部署发展而来,天生带有执行shell\bat的功能 所以间接的能用于kettlekitchen\panbat调度,而不在需要win的工作计划linuxcron.(这个也是我的帖子主体为什么会用“间接构建”这样的标题来描述)
        关于Jenkins的介绍我就不说了,自己百度,因为这个工具调用脚本只是他的功能的冰山一角,其他功能我也不能理解,因为不是那个领域。
        下面我就介绍一下为什么我们需要一个调度平台,以及学习完jenkins后,能解决什么问题。然后在开始讲解安装部署,然后再讲一下怎么调用kettle作业(和处理作业依赖)             

1.为什么我们需要调度平台? 

2.答:可能大部分人对于kettle的调度还是停留在win的计划任务,linuxcron, 但是作业越来越多,作业之间相互依赖,(例如:A作业,b作业,执行完之后,才能执行c作业),这些简单的通过计划任务是完成不了的,或许有些人说,可以把这三个作业放在kettle的一个作业里面表示其内的依赖关系,那么这样做,就会把本来模块化的作业塞到一个臃肿的作业里面,作业之间高度耦合,一个很大的作业还可能会存在kettle内存消耗过大的问题内存溢出的问题,以致难以管理。
      2.学习完jenkins后,能解决什么问题?
      答:集中管理作业/转换的调度,以及每次调度的日志保存,处理作业调度依赖性问题等(因为目前我也是小白,也刚刚接触到这个东西,我只是想把我知道的东西分享给大家,所以会讲的比较简单,但是个人觉得jenkins能做的东西应该还有很多,例如分布式的调度系统)

后续的部署使用就放到附件中了

推荐 2
本文由 guess 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

2 个评论

一直在找这么个调度平台,谢谢分享
我也来试一试,赞一个先!

要回复文章请先登录注册