0
推荐
2570
阅读
kettle使用命令行来运行ktr和kjb
1：cmd方式运行1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data-integration,然后执行文件的命令为：pan /file D:\etltest\EtltestTrans.ktr2.kjb的运行：运行job文件是通过kitchen.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data...
0
推荐
1754
阅读
数据库中查找哪些表中包含指定字段
场景：在ETL的开发过程中，测试人员反映某些字段，例如字段A、B存在很多表中，但是这个在所有的ETL程序中需要修改这个字段的设计逻辑，比如这个字段中可能包含空格，需要去除。那么问题来了？ETL程序可能有100个，根据表名字来命名的，哪些表中有字段A、B呢 ，找出这些表就是我们需要修改ETL的表了。方法1：查看表结构 d...
1
推荐
2642
阅读
kettle中源和目标表结构不一致的情况处理
创建数据仓库的过程中，往往会遇到这样的问题，例如：源表由于业务原因新增了字段，而ETL程序中是按照之前的源表结构进行抽取的，那么如果不重新构建ETL程序，新的指标就不会流入DW，问题如下图所示创建了一个简单的输入输出如下图所示，源表中有一个column3字段没有被匹配到下面我们可以打开sql编辑器，看看该字段的类...
0
推荐
2148
阅读
Kettle中txt类型数据源作为输入需要注意的地方
文本类型在kettle中作为数据源的时候，需要注意的几点,ktr的机构如下图 1：txt文本的格式 2:文本输入控件的设置--2.1：选择文件所在物理位置--2.2：设置分隔符，注意头部数量去掉，不然第一行可能会丢掉，当然也可以根据这里设置从第几行开始抽取--2.3：设置数据类型和字段名PS：需要特别注意的就是文本文件的...
0
推荐
2151
阅读
利用kettle中的JS来完成ETL数据校验
最近参与了一个信托行业的BI项目，由于信托业务系统设计的问题，很多都是用户手工录入的数据，也有一些是需要分析的但是用户没有录入的数据，针对这样的数据质量，我们就要在ETL抽取的过程中来对数据流进行校验，今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验1：非空校验if(INTRUST_FLAG1==null){...
0
推荐
2527
阅读
Kettle中根据一个输入行派生出多个输出行
依然在北京，早上停电了，整个人感觉对不好了，接下来就说一下在使用ETL工具kettle做数据校验的时候遇到的一些问题，一级解决方案.1：数据校验效果图下图：原始表数据（需要校验的表数据）对上表数据进行校验，校验规则，order_nane、order_type不为空，order_money2>order_money2视为有效 校验结果如下图所示:...
0
推荐
2577
阅读
SSIS实践入门1：我的第一个SSIS程序开发
深圳，和你见面已经有23天的时间了,第10天敲定了我人生中的第三份工作，虽说不是和想象中的工作那么好，但是我感觉我已经提前进入了备战状态，接下来我希望自己在你的领土可以有所发展,深圳，一个人多的城市，一个快节奏的城市. 永远不要想着让环境适应你，当你又一次孤身一人的时候，你就要做好去...
0
推荐
2734
阅读
SSIS实践入门2：批量包的调度和SQLServer代理作业配置
趁着上一篇文章的余温，我们继续研究一下SSIS中多个包如何调度，难道需要一个包一个包的配置调度程序吗？显然不是的，接下来我们就说一说在SSIS应用中如何批量的调度所有的作业，本文只讲述一个基本的逻辑过程以及简单测试.1：发布SSIS包调度包，就需要我们首先将SSIS包发布到SQLServer的集成服务下面下面我们就着手把SS...
0
推荐
2304
阅读
SSIS实践入门3：把SSIS程序包从A电脑到B电脑的转移
接触SSIS已经有几天了，之前一直是在A电脑做一些demo和修改一些之前的SSIS程序.这次在包中拖入了一个脚本任务，但是在A电脑打开编辑一直打不开，如下图所示在B电脑就可以打开SSIS脚本编辑器于是乎就需要把原来A电脑上的SSIS工作迁移到B电脑上面来，接下来我们就来说一下详细步骤1：工作文件夹KING复制到B电脑的E:\SSIS目...
0
推荐
2465
阅读
SSIS无法在unicode和非unicode 字符串数据类型之间转换
场景：SSIS从oracle抽到sqlserver,一个表对表到数据仓库ODS层的抽取，没有任何逻辑结果遇到问题：SSIS无法在unicode和非unicode 字符串数据类型之间转换如下图2个字段结果界面提示错误运行后错误解决办法：在数据流中添加一个数据转换组件转换组件编辑如下目标映射改为ZPHM的副本-ZPHM可以看到设计界面显示OK，没有红色...