霍丽的博客博客专栏

数据仓库、ETL知识分享,学习

3
推荐
8072
阅读

Report Designer(一)——Pentaho BI安装及配置手册

Report Designer的安装很简单,下载下面即可使用。关键是服务器上的配置,因此此处不详细介绍Report Designer,着重说说BISERVER. 安装下载下载列表 https://sourceforge.net/projects/pentaho/files/Business%20Intelligence%20Server/ BISERVER   http://sourceforge.net/projects/pentaho/f...

发表了文章 • 2016-04-07 14:55 • 3 条评论

1
推荐
2220
阅读

维度模型数据仓库(五)- 需求增加列

 数据仓库中经常会遇到事实表以及维度表需求变更,最常见的就是增加一列数据。本篇先讨论如何需要增加一列数据,模式会发生怎样的改变。然后就销售事实表以及客户维度表分别添加一列,并在该列上运用SCD2的缓慢变化维度。 修改数据库模式        图(五)- 1-1 显示了修改后的模式,在它...

发表了文章 • 2016-03-29 10:32 • 0 条评论

0
推荐
1591
阅读

维度模型数据仓库(四)- 实现xml文件转换成数据表格式

 前面已经讲到了kettle的初始数据以及定时数据加载的sql以及kettle实现方式,这一节将聊聊xml转换成数据表格式数据。  用Get date from XML组件加载数据至kettle。以如下XML文件为列:    下面通过示例来展示如何使用该步骤,源 xml 文件内容如下:<?xml version="1.0" enco...

发表了文章 • 2016-03-29 10:31 • 0 条评论

0
推荐
1580
阅读

维度模型数据仓库(三)-定期装载

(三)定期装载  数据仓库装载方式分为三种 初始化装载定期装载按需装载  在上面的章节中,我们已经讲到了如何初始化装载,并且按照SQL以及Kettle两种方式已经实现完成,下面章节我将说明定期装载。在我们项目当中,很多时候用到的都是此章节所说的定期装载。从源数据导入到目标数据仓库有两种方式,一种...

发表了文章 • 2016-03-29 10:29 • 0 条评论

0
推荐
2194
阅读

维度模型数据仓库(二)--初始数据加载

初始数据加载(二)  在数据仓库使用前,仓库当中无历史数据,需要通过初始数据加载将源数据库中数据加载到数据仓库。加载多长时间历史数据以及什么时候开始加载等由最终用户决定,比方说数据仓库将从2016-3-1号开始使用定期加载,最终用户要求加载两年历史数据。那么2016-3-1将加载2016-2-19号以及以前的所有历史...

发表了文章 • 2016-03-29 10:25 • 0 条评论

0
推荐
1897
阅读

维度模型数据仓库(一)-准备数据仓库模拟环境

 数据仓库模拟环境上一篇说了很多数据仓库和维度模型的理论,从本篇开始落地实操,用一个小而完整的示例说明维度模型及其相关的ETL技术。示例数据库和ETL的SQL实现是在《Dimensional Data Warehousing with MySQL: A Tutorial》基础上做了些修改,增加了Kettle实现的部分。本篇详细说明数据仓库模拟实验环境搭建过...

发表了文章 • 2016-03-29 10:24 • 1 条评论

0
推荐
1678
阅读

Kettle (二)——第一个JOB设计及其调用

 Kettle是个好工具,他的开源性以及免安装性决定其用起来的方便。在这篇文章当中不细说ETL过多的理论,直接上手。 第一次编写Kettle小JOb,首先要说一说编写JOB的步骤:  需求如下:    ž说明:ž源表:数据库etltest中存在3张表:目标表:etltest中一张表  1:如上的一个需求,Mapping关系...

发表了文章 • 2016-03-29 10:13 • 0 条评论

0
推荐
1262
阅读

oracle性能优化(一)

介绍具体操作前,先谈谈方法论问题。oracle 9i以后的版本,都是基于CBO(基于成本的执行计划优化) .Rule Based Optimizer(RBO)基于规则Cost Based Optimizer(CBO)基于成本,或者讲统计信息 下面的一系列文章将讨论关于oracle性能优化的问题,oracle sql过慢一般存在方法论:   首先查看oracle的执行...

发表了文章 • 2016-03-29 09:54 • 0 条评论

0
推荐
1312
阅读

Kettle (一)——安装

Kettle是一个利用JAVA编写的ETL开源工具,并且是免安装版本,非常方便。由于其是JAVA代码编写,所以要运行Kettle必须基于JDK环境。因此在运行Kettle前须先安装JDK1.5以上环境并配置好环境变量。   1:下载JDK ,下载链接不做说明   2:点击自动安装  3:配置环境变量     点击...

发表了文章 • 2016-03-29 09:44 • 0 条评论

0
推荐
1234
阅读

第一个Python程序

  在学习自己的一个PYTHON小程序,对于初学者来说,切忌复制粘贴代码,这样不利于详细记语法以及错误,遇到错误不要首先想到求助,先查看错误信息自己想想解决办法,实在不行的情况再寻求帮助,这样有利于锻炼解决问题的能力。      运行Python代码,有如下两个步骤(如运行HelloWorld.py)&nb...

发表了文章 • 2016-03-29 09:40 • 0 条评论