1
推荐
2412
阅读

Kettle手册(十二)- 控件使用-从步骤插入数据

这里介绍一个控件的小功能,也是最近才发现的,之前在“表输入”中要使用参数的话,一般都是使用变量,其实,还有个功能也可以尝试使用整体流程就是这样,我们第一个 query_paramter,就是查询了我们想设置的参数然后,就是我们真正需要的,我们再表输入中,使用 “?”来占位,然后“从步骤插入数据”,选择上一个步骤,然后会...

发表了文章 • 2017-04-14 17:35 • 2 条评论

2
推荐
1678
阅读

Kettle手册(十一)- 用PGP加密、加密文件

看到有同学提问,以前也没用过,百度了一下,找了些资料,这里记录下。1. 安装gpg4win这个gpg4win是干嘛的呢,我们可以去他的官网看看:gpg4win目前,只知道他是加密的,这个是对Windows平台使用的这里可能还有个PGP的概念,看看百度百科好了,具体概念,大家可以自行找找,我们下载下来,然后安装一下即可这个是昨天安...

发表了文章 • 2017-04-11 10:18 • 0 条评论

3
推荐
2144
阅读

Kettle手册(十)- 跨库查询

Kettle整体使用起来,还是很方便的,熟悉应用了之后,就是对控件的熟悉和使用了,只要思路有了,就是整合下Kettle中各个控件的使用就行。这里,简单介绍下一个“跨库查询”的控件。有的时候,我们一个脚本,可能只是临时性的,或者需要实时的去查一下,同步到数仓的话,可能不太方便,我们就可以使用跨库查询的控件用到的...

发表了文章 • 2017-04-10 11:51 • 0 条评论

3
推荐
2573
阅读

Kettle手册(九)- 发送邮件

在Kettle里面,我们每天执行完调度之后,想要监控下JOB的执行状态,通常我们可以会发送邮件,可以的话,还可以发送短信。在Kettle里面,发送邮件很方便,这里,我们就简单的测试下。1. 在作业中发送简单邮件    我们只需要使用到这个控件就可以了,这样,一个简单的发送邮件流程就好了控件的配置:收件人...

发表了文章 • 2017-04-10 11:03 • 1 条评论

0
推荐
3802
阅读

Kettle手册(八)- 循环

有的时候,我们想要在Kettle中实现这个循环的功能,比如,批量加载数据的时候,我们要对10张表执行同样的操作,只有表名和一些信息不一样,这时,写个循环就省事儿多了1. 遍历结果集实现这里的话,我们主要是通过一个将结果集返回,然后通过转换的设置来实现的1.1 query_the_result这个转换,只要是将我们要遍历的结果集...

发表了文章 • 2017-03-29 22:43 • 0 条评论

1
推荐
3566
阅读

Kettle手册(七)- 资源库的使用

1.为什么使用资源库    之前,我们新建转换或者作业的时候,都是直接保存在本地,而如果我们是多人开发的话,除了使用SVN等版本控制软件,还可以使用Kettle的资源库,他会将转换、作业直接保存在数据库中,而且,连接资源库的话,我们就不需要每一次都新建数据库连接了,用起来还是蛮方便的。2. 新建资源...

发表了文章 • 2017-03-29 18:49 • 0 条评论

0
推荐
2785
阅读

Kettle手册(六)- Hop小记

1. 什么是Hop    在我们前面,使用Kettle过程中,控件与控件之间的连线,这里,我们详细介绍下它,它在Kettle中叫Hop(跳)。2. Hop的发送方式(转换)在转换中,一般情况,控件和控件之间只有一个Hop,当然,如果需要的话,我们拖了2个控件出来,像这样:Kettle会提示你,下面的信息,让你选择,数据发...

发表了文章 • 2017-03-29 16:05 • 0 条评论

1
推荐
7266
阅读

Kettle手册(五)- 实例-增量同步数据

综合前面的几个例子,我们这里来是实现下增量数据的同步。这里只是分享一种方法,实际工作中,还会有其他更好的方案。增量同步的整体思路一般就是:首先拿到这张表的增量数据,怎么拿增量呢,源表需要有一个时间字段,代表该条记录的最新更新时间(及只要该条记录变化,该时间字段就会更新),当然有时间字段最好了,没...

发表了文章 • 2017-03-29 11:48 • 2 条评论

2
推荐
5231
阅读

Kettle手册(四)- 变量的使用

我们在这一回,介绍下,Kettle中全局变量的使用,我们前面说过的配置文件,其实就是配置全局变量的地方Kettle手册(三)- 配置文件的使用及密码加密 1. 全局变量就是我们上面说的kettle.properties文件,我们在里面定义的变量,我们可以在所有的转换或者作业中获得到,比如,我们前面,说的数据库参数之前,我们已经在数...

发表了文章 • 2017-03-28 23:07 • 0 条评论

2
推荐
5519
阅读

Kettle手册(三)- 配置文件的使用及密码加密

好了,我们上一回,练习了一个从数据库导出数据到Excel的例子,我们想一下,如果有很多个转换,我们没链接一次数据库,是不是都需要重复的输入那些数据库地址啊,数据库啊,用户名啊之类的。其实是不用的,我们可以使用变量的方式,写在配置文件中,下面,我们来看看。而且,我们平时开发,都有开发环境、UAT环境、生产...

发表了文章 • 2017-03-28 22:31 • 6 条评论

6
推荐
6320
阅读

Kettle手册(二)- 将数据导出为Excel

    好了,我们先来看第一个例子,就是怎样将数据库中的数据,导出为Excel。平时,如果我们需要将数据导出Excel的话,我们可能会直接复制,然后粘贴出来,但是数据量大的话,就不好用了;或者使用Java等开发语言,写代码,导出Excel;或者一些数据库连接工具自带的导出功能。其实,我们用Kettle的话,还...

发表了文章 • 2017-03-27 22:24 • 3 条评论

7
推荐
6898
阅读

Kettle手册(一)- 序及Kettle简介

1. 序    好久没有写博客了,新的一年总得留下点儿什么。目前主要负责数据仓库这一块任务,平时用用Kettle、SSIS这类ETL工具,而且工具的使用整理起来会方便些。所以先从Kettle开始,一点点整理下最近BI开发中掌握的知识。    以前有做过BI报表Cognos开发还有些入门级的Java,都在CSDN博...

发表了文章 • 2017-03-27 21:59 • 1 条评论