Z.C.的数据仓库博客专栏

数据仓库,BI,ETL【Oracle,Pentaho,Kettle,BIEE,ODI,Cognos】

0
推荐
2915
阅读

ODI第11节-变量之(五):变量定义数据源

前一篇介绍了变量的常规使用,那是在固定的数据源上使用变量。但某些情况下,数据源的名称是变化的,比如以平面文件做数据源,而文件名是以日期变化的(如odi20110801.txt、odi20110802.txt……),这时候数据源就需要以变量来定义名称了。 以下介绍的就是变量定义数据源的测试过程。测试中是以变量来定义平面文件的...

发表了文章 • 2015-10-03 09:08 • 0 条评论

0
推荐
2339
阅读

Odi第4节-使用(二):设计器(文件模型)

在"模型"窗口"新建模型文件夹"文件夹名称自定义,此处名称定为module_test可见"模型"窗口下多出个文件夹目录 打开module_test模型文件夹,选择新建模型在弹出窗口中,模型名称可自定义,但技术要选择"File",逻辑方案选择已建立好的文件逻辑结构"File_test",建立完成后保存。 模型建立完成后,点开"Module_te...

发表了文章 • 2015-10-03 09:07 • 0 条评论

0
推荐
2527
阅读

ODI第10节-变量(四):变量使用

此篇介绍的是项目变量用于接口的情况,在使用变量之前,可先建立一个项目变量。由于只用于演示,此变量可取固定值,如下图所示: 新建接口如下: 建立接口映射如下: 将变量v_num插入到目标表的TS的score列: 如上所示,在使用本项目所建立的变量时,调用方法为#v_num如果需要强调使用的是项目变量...

发表了文章 • 2015-10-03 09:07 • 0 条评论

0
推荐
2384
阅读

ODI第9节-变量(三):全局变量

上一篇说明了项目变量的创建,接下来演示一下如何创建一个全局变量: 创建项目变量的时候,首先要创建一个项目,之后在其中创建变量。 而全局变量并不属于任何一个项目,无法在项目中创建,必须先在"设计器(designer)"页面下先找到"Others"类别。如下: 之后可在"Others"中新建全局变量,在"Global Var...

发表了文章 • 2015-10-03 09:06 • 0 条评论

0
推荐
2419
阅读

ODI第8节-变量(二):项目变量

下面演示一下如何创建一个项目变量:如上所示,先创建一个项目(DWH),打开后可看见variables标签。在上面右键选择新建后,弹出窗口如下:Definition页中Name标签可填入变量的名字,datatypes填入变量的数值类型Keep history有三种选项:缺省是latest value,还有all values、no historyLatest value表示ODI将变量的最...

发表了文章 • 2015-10-03 09:05 • 0 条评论

0
推荐
2447
阅读

ODI第7节-变量(一):变量

ODI的变量分为两种,全局变量和项目变量。顾名思义,项目变量定义的变量只可以在本项目中使用,其它项目无法调用此变量。而全局变量定义的变量可被任何项目所引用。 变量存储的是一个单一的值,不能为数组。当然值既可以是数字,也可以是字符或者日期。 变量可设置为一个单一的缺省值,或者由SQL赋值,在每次...

发表了文章 • 2015-10-03 09:05 • 0 条评论

0
推荐
2637
阅读

Odi第6节-使用(三):设计器(接口)

上一节说到建立项目的框架,此节具体讨论一下项目中的具体数据抽取步骤"接口"的使用。 "接口"的名称可在"概览"中定义,勾选"临时区域与目标区不同"的话,可自定义原始数据在进入目标数据存储之前存在何处 "接口"的"映射"标签如下,如图:左边是数据源,右边是"临时数据存储"(即目标数据); 根据提示从"...

发表了文章 • 2015-10-03 09:04 • 0 条评论

0
推荐
2250
阅读

Odi第5节-使用(三):设计器(项目)

打开设计器标签,点开新建项目的图标 在弹出窗口中,"定义"选项下设置项目名称,如zc_bilocal 保存后生成新的项目文件夹,名称即zc_bilocal 打开zc_bilocal项目,项目的基本内容应该如下所示 之后的操作应该先打开"知识模块",先导入所需的知识模块如CKM、LKM、IKM 导入选择如下所示,导入所需...

发表了文章 • 2015-10-03 09:04 • 0 条评论

0
推荐
2314
阅读

Odi第3节-使用(二):设计器(数据库模型)

在"模型"窗口"新建模型文件夹"文件夹名称自定义,此处名称定为module_test可见"模型"窗口下多出个文件夹目录 打开module_test模型文件夹,选择新建模型在弹出窗口中,模型名称可自定义,但技术要选择"Oracle",逻辑方案选择已建立好的逻辑结构"ZC",建立完成后保存。 模型建立完成后,点开"Module_test"文件夹...

发表了文章 • 2015-10-03 09:03 • 0 条评论

0
推荐
2242
阅读

Odi第2节-使用(一):拓扑层文件系统配置

连接资料库打开"拓扑"标签,先建立"物理体系结构",因为需要用到平面文件(作为源数据或者目标数据),打开技术的"File"选项右键选择新建数据服务器 弹出界面后,根据个人需求填入"定义"和"JDBC"因为是使用本地的文件系统,所以可以忽略"主机"和"连接"的设置 在"JDBC"窗口下根据提示选择即可。保存物理体系结...

发表了文章 • 2015-10-03 09:02 • 0 条评论

0
推荐
1985
阅读

Odi第1节-使用(一):拓扑层数据库配置

连接资料库打开"拓扑"标签,先建立"物理体系结构",因为选用oracle数据库,打开技术的"oracle"选项右键选择新建数据服务器 弹出界面后,根据个人需求填入"定义"和"JDBC" 保存物理体系结构。在刚才建立的物理体系下,建立物理方案在定义窗口中填入方案先忽略"上下文"的设置。保存后退出。 建立逻辑体系结...

发表了文章 • 2015-10-03 09:02 • 0 条评论

0
推荐
2358
阅读

SQL优化一则:取消视图合并

视图合并作为一种常见的查询转换方式,一直在SQL优化上有很好的效果,但在减少待选集(包括块和行),保持高舍弃的思想下,我们会发现视图合并有时候并不那么合适,甚至起到反效果。以下是取消视图合并来给SQL进行优化的一则例子:原SQL语句:with z1 as ( select m.owc_week_number,      &...

发表了文章 • 2015-10-03 09:00 • 0 条评论

0
推荐
2578
阅读

BIEE 11.1.1.7回写配置和使用

从BIEE 10.1.3.4以来,BIEE都提供了回写功能,用于在展现端修改显示的数据,并将其写回到数据仓库(数据库)。但随着版本的升级,关于回写的一些相关配置也有所变化,这里将根据BIEE 11.1.1.7的回写配置和使用以及碰到的相关问题,做一些记录和说明。回写配置的主体步骤:整理需要回写的物理表格和字段。在BI Administra...

发表了文章 • 2015-10-03 08:56 • 0 条评论

0
推荐
2422
阅读

数据仓库的数据标准化思路

数据标准化对于大型公司而言,各个下层子公司都使用自己本地的业务系统,当这些子公司数据往上汇总到总公司时,常常出现代码不一致,数据歧义等等各种各样的问题,在这种情况下,数据标准化就变得不得不行了。典型的例子,比如医院,大型医院往往包含多个分院,而分院都是用自己的业务系统。业务数据采集汇总后,发现数...

发表了文章 • 2015-10-03 08:54 • 0 条评论

0
推荐
3323
阅读

Kettle实现Transformation 循环及跳出

在ETL操作中,经常需要对某个操作进行循环调用,可是使用Kettle工具时,并没有循环的组件可以调用,但在Job中引用Transformation时,可通过设置Transformation 的高级属性(”执行每一个输入行”)来实现Transformation 的循环,而在Transformation执行过程中,可根据条件设置跳出循环,或者略过本次操作,进入...

发表了文章 • 2015-10-03 08:53 • 0 条评论