0
推荐
4715
阅读

Kettle之旅-carte集群搭建以及远程执行转换和作业

Kettle版本:8.3集群服务器环境:master节点:win10slave节点:CentOS 6.8/CentOS 7.4服务器个数:4一、 carter集群搭建1. 所有服务器安装JDK,我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件:1)集群配置文件:Kettle安装目录下,pwd文件夹:a. carte-config-master-XXXX.xml    此处配置master节点...

发表了文章 • 2019-08-08 18:05 • 0 条评论

2
推荐
2263
阅读

kettle之旅--kettle/pdi从开发到部署完整案例

案例背景公司市场部门现在需要每月1号将财务预算导入到系统,进行数据计算和分析,因为该预算是总体预算,每个月需要根据实际进行微调,所以每次导入需要覆盖原有的数据,财务预算的文档是excel,待导入系统为mysql。导入设计思路根据市场部门提供的数据模板(如附件部门预算),在数据库中新建表budgetDROP TABLE IF EX...

发表了文章 • 2018-07-30 01:11 • 2 条评论

0
推荐
2819
阅读

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意,kettle的每一个版本的开发是基于不同的jdk去开发的,所以需要确认您所需要的版本和jdk是否完全能对应上,如果是kettle7.x,请选择jdk1.8。下载jdk官...

发表了文章 • 2018-07-29 10:56 • 0 条评论

0
推荐
4015
阅读

kettle之旅--下载获取kettle/pdi

获取kettle,这个文章很多小伙伴都觉得没必要,其实我想说,既然研究这个解决方案,那知其然知其所以然。kettle源码kettle是开源的,所以开源的地址在哪里呢?当然是github: https://github.com/pentaho/pentaho-kettle编译源码获得可执行程序。这是最原始的方法,当然所有的开源软件都支持这样的模式,但是个人不建议这...

发表了文章 • 2018-07-28 23:59 • 0 条评论

0
推荐
2984
阅读

kettle之旅--kettle/pdi的发展史简述

简述kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成,后续被Pentaho公司收购(收购后改名),Matt同时加入该公司,并带领团队维护该项目至今。kettle是众多ETL解决方案中,在开源领域做的最好的一款,基于JAVA语言...

发表了文章 • 2018-07-28 22:50 • 0 条评论

1
推荐
2857
阅读

Kettle作业/转换自动化方案——任务计划程序调用

前序:Kettle统一数据库管理配置最初用 Kettle的时候,为了方便不同环境用不同的数据库连接,在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录,通过配置环境变量让Kettle应用。在配置文件夹中实现资源库管理和数据库连接参数管理。详见:   http://blog.csdn.net/xiezhongkai08/ar...

发表了文章 • 2018-02-27 16:40 • 0 条评论

2
推荐
1990
阅读

Kettle作业/转换自动化方案——SQLAgent调用DOS命令(结果:方案无效)

背景:最近团队开始使用Kettle做ETL开发。网上通用的作业/转化自动化方案是依赖windows自身的任务计划程序实现的。鉴于任务计划程序的失败没有办法在执行失败时发出通知邮件,所以想尝试看是否能够用SQLAgent调用DOS命令的方式实现自动化。方案:1. 在SQLAgent中建立作业。添加类型为“操作系统(Cmdexec)”的作业步骤,...

发表了文章 • 2018-02-27 16:12 • 0 条评论