ETL

4
推荐
7309
阅读

Linux下安装配置kettle的部署

开头介绍一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。登陆-linux-(切换到kettle部署的用户下面)第一:产看系统的java环境...

发表了文章 • 2015-09-26 18:14 • 1 条评论

0
推荐
3066
阅读

kettle中字符串的处理

场景:邮件推广系统,需要向用户发送邮件,针对目前众多的Email 类型,设计此思路。思路1:利用过滤器Filter rows对Email字段分别做处理。结果是当type很多的时候就很麻烦。这个时候想想如果是SQL那就好了,各种的like 各种的string function ,此方法舍去。思路2:利用Modified Java Script Value组件(通常说的JS组件...

发表了文章 • 2015-09-26 17:52 • 0 条评论

1
推荐
3664
阅读

powercenter与kettle的排序取前n条记录的比较

ETL这个词对于从事BI职位的coder来说,相信并不陌生,今天的故事就从ETL的两个工具powercenter与kettle说起。最近的1年多,由于各种原因,leader要求ETL这块需要换一个工具。原来的powercenter被抛弃了,我们迎来了更加开源的kettle。原本主要从事于BI前端开发cognos工作的我也由于人手不足而被安排了一些ETL的改造任务...

发表了文章 • 2015-09-26 17:51 • 3 条评论

0
推荐
2410
阅读

PowerCenter基础心得

心得学习[转自CSDN:http://blog.csdn.net/hualin_xie/article/details/4885800]通过将近一周的学习时间,我大致掌握了PowerCenter 的基本架构和设计开发过程中的一些方法和技巧。PowcerCenter 也是属于典型的 C/S 架构,分为服务器组件和客户端组件,服务端有三个服务: Informatica ...

发表了文章 • 2015-09-26 15:55 • 0 条评论

0
推荐
2737
阅读

kettle环境变量设置类问题

kettle免安装的,但是需要配置环境变量ComSpec=%SystemRoot%\system32\cmd.exe--和CMD命令有关的环境变量。PATH=%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem 系统环境变量PENTAHO_JAVA_HOME=E:\Tools\jdk1.6.0_19\jdk1.6.0_19  java_home变量KETTLE_HOME=D:\data-integration kettle变量

发表了文章 • 2015-09-26 15:45 • 0 条评论

0
推荐
2326
阅读

kettle中split字符串以及序列在程序中的使用

//把SUB_CODE中的间隔符除去,原始数据间隔符为'.',.在java中可能是关键字,先在源中做一个处理,把'.'替换为'-'var SUB_CODE_NEW= replace(SUB_CODE,"-", "");//Alert(SUB_CODE+":"+SUB_CODE1);//根据SUB_CODE的出四级科目var str0="";var str1="";var str2="";var str3="";var strArray=new Array();strArray=SUB_COD...

发表了文章 • 2015-09-26 15:44 • 0 条评论

0
推荐
2582
阅读

Java调用执行kettle中的tran并且传参

前提:本人属于初学者,kettle与java的集成正在学习,本文着重说的是java调用本地的ktr并且传参,而不是调用数据库类型的资源库中的ktr.part1:java部分project目录如下需要注意的是:1:注意所需要的包,大多部分的包在kettle目录下面就有。2:ktr设计中可能设计多种数据源,驱动包都要有,比如上面的jtds,ojdbc.3:根据提...

发表了文章 • 2015-09-26 15:44 • 0 条评论

0
推荐
3989
阅读

java调用kettle动态传参修改数据库连接

感言:网络的确帮助了我们,但是kettle的资料真实太少,英语学好是有必要的;整体思路:创建javaproject→导入kettle所需要的包→实现kettle中的对象→重写对象内容→调用对象执行; 1 package kettle; 2 3 //需要导入的包 4 import java.util.List; 5 import java.util.Map; 6 import java.util.Set; 7 8 import o...

发表了文章 • 2015-09-26 15:42 • 0 条评论

0
推荐
2515
阅读

java调用kettle从xml文件读取数据库连接

Java调用kettle从xml文件读取数据库连接,多谢http://blog.csdn.net/zhangjunfangkaixin/article/details/5932788?reload  @张俊芳自己操作了之后,更详细的说明一下:step1:创建一个ConnectionConfig.xml,内容如下<?xml version="1.0" encoding="UTF-8" standalone="no"?><Database><URL>jdbc:...

发表了文章 • 2015-09-26 15:41 • 0 条评论

0
推荐
2954
阅读

kettle中给ktr设置日志表需要注意的细节

目的,无论是本地的.ktr文件或者是资源库的ktr模型,只要模型被调用运行的日志就保存到一张日志表,当模型在外部调用出错时,方便查看日志文件查找原因,话不多说,直接入主题;step1:打开ktr选择ktr属性:step2:选择日志选项注意点:1:最左边,四个选项Transformation,Step,Performance,logging  channels代表四...

发表了文章 • 2015-09-26 15:41 • 0 条评论

0
推荐
2943
阅读

java调用kettle数据库类型资源库中的ktr

此问题在1个月前或许已经接触,单是一直木有怎么用到,就被耽搁至今;问题的解决要来源于网络,其实我还想说问题的解决更多的是要靠我们自己的思想,不过多的言情,我们接下来直接进入主题吧!环境:kettle-spoon 4.2.0,oracle11g,myeclipse6.5,sqlserver2008前提:在kettle图形界面spoon里面已经做好了一个ktr转换模...

发表了文章 • 2015-09-26 15:40 • 0 条评论

0
推荐
1981
阅读

java调用kettle批量执行

之前只做了一个java调用单一ktr的例子,在用web程序控制ETL数据抽取过程的时候,难免会遇到要执行一个复选框列表的ktr,那么前段传过来的就不仅仅是一个ktr;那就是一个未知数目的ktr列表了,思想就是封装:遍历:赋值:执行; 1 package kettle; 2 3 //需要导入的包 4 5 import java.util.ArrayList; 6 import o...

发表了文章 • 2015-09-26 15:40 • 0 条评论

0
推荐
2608
阅读

kettle根据参数动态派生列

抽取数据的时候没有日期字段,需要根据抽取日期自动生成月份,如下图结构表输入_参数部分,接收来自其他系统传过来的参数(JAVA程序或者页面),具体设置如图在查询数据时候派生列运行模型的时候,给参数赋值 测试查看生成的数据,是否派生了一个monthkey的字段,值为201310OK ,效果已实现。

发表了文章 • 2015-09-26 15:32 • 0 条评论

1
推荐
2663
阅读

window系统下调度数据库类型资源库中的kettle job

已经存在kettle的一个资源库enfo,在目录/works/wxj下面有一个job (testmailsuccess.kjb)如何实现手工在kettle外部执行此job和让系统每天定时的调用此job.(1)先说手工调用:进入cmdC:\Users\Administrator>E:--切换到kettle所在解压盘E:\>cd pdi-ce-4.2.0-stable\data-integration--切换到解压目录E:\pdi-ce-4.2....

发表了文章 • 2015-09-26 15:29 • 3 条评论

0
推荐
2794
阅读

kettle利用参数遍历执行指定目录下的所有对象

        使用kettle设计ETL设计完成后,我们就需要按照我们业务的需要对我们设计好的ETL程序,ktr或者kjb进行调度,以实现定时定点的数据抽取,或者说句转换工作,我们如何实现调度呢?              场景:在/works/wxj/test目录下放着两个ktr模型,我们...

发表了文章 • 2015-09-26 15:18 • 0 条评论