ETL

0
推荐
2675
阅读

Kettle通过Webservice获取天气信息

需求:通过kettle工具,通过webservice获取天气信息,写成xml格式文件。 思路:Kettle可通过两种选择获取webservice结果,一种是web服务查询(web service lookup),还一种是利用HTTP POST,本文介绍的是使用web服务查询的方式,数据来源为http://www.webxml.com.cn/WebServices/WeatherWebService.asmx。 实现...

发表了文章 • 2015-10-03 09:32 • 0 条评论

0
推荐
3216
阅读

ODI的安装及元数据迁移

ODI之安装篇 在ODI 11g之后,安装ODI都需要先注册安装所需的资料库metadata。 注册资料库,运行%rcu_home%/bin/rcu.bat如下: 选择创建后,弹出资料库所在数据库配置环境如下:资料库将会对应安装在数据库中特定用户下,用户名的前缀可定制设置资料库所在数据库用户名的口令弹出ODI超级用户属性配置除口...

发表了文章 • 2015-10-03 09:14 • 0 条评论

0
推荐
2801
阅读

ODI第18节-系统命令(二):OdiOSCommand

ODI之操作系统命令(二):OdiOSCommand 在ODI的中使用操作系统命令,除OS Command工具外,还有OdiOSCommand。两者除使用方法不同外,基本可达成一致的效果。 测试结果如下:1.打开项目组,新建程序包 2.打开新程序包,命名为time_record_odi 3.打开"图表"标签,引用OdiOsCommand工具  4....

发表了文章 • 2015-10-03 09:13 • 0 条评论

0
推荐
2413
阅读

ODI第17节-操作系统命令(一):OS Command

ODI之操作系统命令(一):OS Command 在ODI的使用过程中,可能需要对平面文件进行操作,或者调度其它操作系统命令。此时可创建Package(程序包),调用工具箱的OS Command工具。 测试结果如下:1.打开项目组,新建程序包 2.打开新程序包,命名为time_record 3.打开"图表"标签,引用Os Command工具&...

发表了文章 • 2015-10-03 09:13 • 0 条评论

0
推荐
2401
阅读

ODI第16节-XML(二):建立数据模型

ODI之XML数据抽取(二):建立XML数据模型 在上一篇中建立物理和逻辑体系结构后,可在设计器中开始建立数据模型和项目。 在设计器的模型窗口选择新建模型文件夹。 在弹出窗口中,填入文件夹名称如下: 建立文件夹后,右键选择新建模型 在弹出窗口,填入模型"名称",下拉菜单选择"技术"XML选择...

发表了文章 • 2015-10-03 09:12 • 0 条评论

0
推荐
2387
阅读

ODI第15节-XML(一):建立XML结构

ODI之XML数据抽取(一):建立XML物理、逻辑结构 在数据迁移中,以XML文件作为数据的转移载体比较常见。下面将介绍一下如何通过ODI将XML数据重新迁入数据库中(以Oracle为例)。 首先假设存在XML文件(E:\Weather.xml,天气信息)如下:浙江杭州5845758457.jpg2011-9-23 0:22:1917℃/26℃9月23日 多云东北风微风...

发表了文章 • 2015-10-03 09:12 • 0 条评论

0
推荐
2444
阅读

ODI第14节-CDC(三):添加订阅者

在使用CDC时,通过添加订阅者在数据库的记录表中,记录上一次数据抽取后的表格数据变化。 如果订阅者有N个,记录表中的记录将重复N倍,分别属于不同的订阅者。测试过程如下:SQL> insert into s values(10000,20000); SQL> COMMIT; SQL> select * from j$s; JRN_SUBSCRIBER JRN_CONSU...

发表了文章 • 2015-10-03 09:11 • 0 条评论

0
推荐
2445
阅读

ODI第13节-CDC(二):启动CDC

上一篇说道日志记录的方式分为两种:简单记录和一致性记录。这种方式选择是基于Module层面的,如下图所示:在上图中可见,选择了日志记录方式后,还要选择JKM。要选择JKM,需要先创建至少一个项目,并且这个项目已经导入了JKM。这样,在上图的窗口中才可以引用JKM。 选择了Module的日志记录方式后,接下来可以设置...

发表了文章 • 2015-10-03 09:10 • 0 条评论

0
推荐
2576
阅读

ODI第12节-CDC(一):CDC概念和组成

CDC概念CDC全称Changed Data Capture,顾名思义就是捕获变化的数据。换句话说,这也可用于增量的ETL,否则的话,每次ETL都要进去全量抽取的话,效率必然极大的下降,实用性也不高。 CDC其实是增量抽取的概念,但在ODI中,却意味着ODI独特的增量抽取方法。(事实上,ODI照样可以通过ETL工具通用的记录时间字段,流水...

发表了文章 • 2015-10-03 09:08 • 0 条评论

0
推荐
2896
阅读

ODI第11节-变量之(五):变量定义数据源

前一篇介绍了变量的常规使用,那是在固定的数据源上使用变量。但某些情况下,数据源的名称是变化的,比如以平面文件做数据源,而文件名是以日期变化的(如odi20110801.txt、odi20110802.txt……),这时候数据源就需要以变量来定义名称了。 以下介绍的就是变量定义数据源的测试过程。测试中是以变量来定义平面文件的...

发表了文章 • 2015-10-03 09:08 • 0 条评论

0
推荐
2326
阅读

Odi第4节-使用(二):设计器(文件模型)

在"模型"窗口"新建模型文件夹"文件夹名称自定义,此处名称定为module_test可见"模型"窗口下多出个文件夹目录 打开module_test模型文件夹,选择新建模型在弹出窗口中,模型名称可自定义,但技术要选择"File",逻辑方案选择已建立好的文件逻辑结构"File_test",建立完成后保存。 模型建立完成后,点开"Module_te...

发表了文章 • 2015-10-03 09:07 • 0 条评论

0
推荐
2499
阅读

ODI第10节-变量(四):变量使用

此篇介绍的是项目变量用于接口的情况,在使用变量之前,可先建立一个项目变量。由于只用于演示,此变量可取固定值,如下图所示: 新建接口如下: 建立接口映射如下: 将变量v_num插入到目标表的TS的score列: 如上所示,在使用本项目所建立的变量时,调用方法为#v_num如果需要强调使用的是项目变量...

发表了文章 • 2015-10-03 09:07 • 0 条评论

0
推荐
2366
阅读

ODI第9节-变量(三):全局变量

上一篇说明了项目变量的创建,接下来演示一下如何创建一个全局变量: 创建项目变量的时候,首先要创建一个项目,之后在其中创建变量。 而全局变量并不属于任何一个项目,无法在项目中创建,必须先在"设计器(designer)"页面下先找到"Others"类别。如下: 之后可在"Others"中新建全局变量,在"Global Var...

发表了文章 • 2015-10-03 09:06 • 0 条评论

0
推荐
2401
阅读

ODI第8节-变量(二):项目变量

下面演示一下如何创建一个项目变量:如上所示,先创建一个项目(DWH),打开后可看见variables标签。在上面右键选择新建后,弹出窗口如下:Definition页中Name标签可填入变量的名字,datatypes填入变量的数值类型Keep history有三种选项:缺省是latest value,还有all values、no historyLatest value表示ODI将变量的最...

发表了文章 • 2015-10-03 09:05 • 0 条评论

0
推荐
2428
阅读

ODI第7节-变量(一):变量

ODI的变量分为两种,全局变量和项目变量。顾名思义,项目变量定义的变量只可以在本项目中使用,其它项目无法调用此变量。而全局变量定义的变量可被任何项目所引用。 变量存储的是一个单一的值,不能为数组。当然值既可以是数字,也可以是字符或者日期。 变量可设置为一个单一的缺省值,或者由SQL赋值,在每次...

发表了文章 • 2015-10-03 09:05 • 0 条评论