数据仓库建模

数据仓库建模

1
推荐
2105
浏览

【转】数据仓库建模-数据建模基本流程

文件来源:https://ask.hellobi.com/blog/rayshawn/2983(个人)建模注意点:1.一定要清楚每一步建模的目的2.准确完成每个流程的交付物一、数据建模的基本流程 1)概念模型: 确定系统的核心以及划清系统范...

arya 发表了文章 • 2017-08-10 18:34

0
推荐
1766
浏览

【转】高质量数据库建模系列课程-建模常见的误区及错误建模的影响

文章来源:https://ask.hellobi.com/blog/rayshawn/2982数据模型的要求 1.要直观的模拟真实世界 2.容易被人理解 3.便于计算实现一、低质量建模 Steve Hoberman的《Data Model Scorecard》一...

arya 发表了文章 • 2017-08-10 17:36

0
投票
1
回答
1366
浏览
0
投票
1
已解决
2280
浏览
1
推荐
2243
浏览

【转】数据仓库分层之辩

--转自:http://blog.itpub.net/post/14877/198599数据仓库的分层可以算是数据仓库架构的子话题。在前段时间参与的一次讨论中,笔者发现其中争论的焦点集中在每一层的作用、特点、是否有必要存在等问题。其中,大...

a174410 发表了文章 • 2016-12-21 23:03

3
推荐
2291
浏览

【转】浅谈数据仓库建设中的数据建模方法

--本文转载自IBM技术交流官网,https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/周三保(zhousb@cn.ibm.com) IBM 软件部信息技术专家.简介: 本文的主要内容不是介绍现有的...

a174410 发表了文章 • 2016-12-21 23:00

1
投票
1
已解决
1599
浏览
0
投票
2
已解决
2117
浏览
5
推荐
4015
浏览

数据仓库工具箱:维度建模的完全指南·第二版 下载

简介数据仓库工具箱——维度建模的完全指南下载(第二版)本书从维度结构建模的基本知识入手,通过给出零售、库存、采购、定单管理、顾客关系管理、帐目、人力资源管理、财经服务、电信与公用事业、交通、教育、卫...

李新贵太阳 发表了文章 • 2015-10-29 23:55

0
投票
3
已解决
2865
浏览
0
投票
1
回答
2174
浏览
条新动态, 点击查看
冰咖啡

冰咖啡 回答了问题 • 2013-09-02 15:34 • 3 个回复 不感兴趣

Oracle OLAP做什么用的?

赞同来自:

Oracle OLAP是Oracle企业版的一个可选组件,它的分析引擎是一个基于多维模型的MOLAP引擎,多维存储的数据模型,查询效率相对来说比二维关系表效率要高些,因为它可以预计算、预汇总,有需要的话可以采用HOLAP类型,就是明细数据存在关系型数据库中,汇... 显示全部 »
Oracle OLAP是Oracle企业版的一个可选组件,它的分析引擎是一个基于多维模型的MOLAP引擎,多维存储的数据模型,查询效率相对来说比二维关系表效率要高些,因为它可以预计算、预汇总,有需要的话可以采用HOLAP类型,就是明细数据存在关系型数据库中,汇总数据存在多维数据模型中,BIEE支持两者的完美融合,报表的数据可以从多维的汇总数据钻透到关系型的明细数据。
沫沫

沫沫 回答了问题 • 2015-10-08 12:33 • 1 个回复 不感兴趣

如何設置讓不通fact分別訪問共有的dimension?

赞同来自:

F1 F2 都跟D和C两个维度建立连接。
在分析界面里从F1出的字段中FILTER USING C=C1
在F2的字段中FILTER USING C=C2

或者在RPD的F1 F2源中加WHERE条件 如图
7734
  显示全部 »
F1 F2 都跟D和C两个维度建立连接。
在分析界面里从F1出的字段中FILTER USING C=C1
在F2的字段中FILTER USING C=C2

或者在RPD的F1 F2源中加WHERE条件 如图
7734
 
BAO胖子

BAO胖子 回答了问题 • 2015-10-09 14:47 • 3 个回复 不感兴趣

数据仓库建表疑问

赞同来自:

Role Play模式的建模,不用建三个表。
只建一个部门的表,其他的用视图,或者SQL里用别名。
Role Play模式的建模,不用建三个表。
只建一个部门的表,其他的用视图,或者SQL里用别名。
没项目可学习?
 
去先把数据库概论读了,对,王珊那本。
去买本Kimball的书翻翻。
 
去吃饭,找个小票看看,琢磨一下,小票上的数据如果用3NF怎么建模,用Dimensional Model怎么建模? 
去淘宝,走个购买流程,琢磨一下,如果是你,纯3NF... 显示全部 »
没项目可学习?
 
去先把数据库概论读了,对,王珊那本。
去买本Kimball的书翻翻。
 
去吃饭,找个小票看看,琢磨一下,小票上的数据如果用3NF怎么建模,用Dimensional Model怎么建模? 
去淘宝,走个购买流程,琢磨一下,如果是你,纯3NF建模怎么建,要做分析怎么建dimensional model。
 
不会用Data Model工具?去Oracle下个Oracle Developer Modeler,免费的,把我上面说的俩模型建完。
回头再想想,是不是准备好了?如果有个项目能不能试试?
BAO胖子

BAO胖子 回答了问题 • 2015-11-16 17:03 • 2 个回复 不感兴趣

百万级的大维表如何做缓慢变化维?

赞同来自:

首先,你得确定你那些变化的维度是真的需要保留历史的吗?
其次,你得弄明白你那些变化的维度真的是缓慢变化的吗?

基本上,大部分的维度的属性其实都不是需要保留历史的,如果你的需求只是保留历史,而不是为了分析变化,那么就把历史表拆出来,万一用了的时候再用,其他时候... 显示全部 »
首先,你得确定你那些变化的维度是真的需要保留历史的吗?
其次,你得弄明白你那些变化的维度真的是缓慢变化的吗?

基本上,大部分的维度的属性其实都不是需要保留历史的,如果你的需求只是保留历史,而不是为了分析变化,那么就把历史表拆出来,万一用了的时候再用,其他时候不用。如果真是有个别需要分析变化的维度成员,要看变化的频率,如果你的有很多列,按SCD2,每个成员平均一周就要增加一行的话,一年下来,这张表就编程1M*50,脑补一下还是原来你期待的数据级别吗?一种建议是,变得快的,拆出来单独处理,或者把那一列加到FACT Table里面去,维度表不记录变化。对于变得慢的,比如一年变个1-2次的,可以考虑SCD2的标准做法,然后...历史数据你要酌情来看保存多久。还有一种是周期性很强的,比如每个季度就搞一次,就再派生一个带时间键的表。总之,你得根据需求走,这方面要引导客户,很多客户的愿望是维表保留所有历史,然后他们一辈子都不用。
我个人觉得不要过多考虑谁更受重视,关键要明白自己的优势和欠缺,尽快学习弥补不足之处,哪怕牺牲业务时间也是值得的。当然最重要的一点是你确实想从事这个方面的工作,而不是跟风。
我个人觉得不要过多考虑谁更受重视,关键要明白自己的优势和欠缺,尽快学习弥补不足之处,哪怕牺牲业务时间也是值得的。当然最重要的一点是你确实想从事这个方面的工作,而不是跟风。
有点不太理解你的问题,不过通常数据仓库是要分层次的,每个层次都有不同的作用,通常业务系统表结构变化了,ETL程序时要修改的。但是通常也可以根据业务系统变化实际情况来调整ODS层就可以了,业务系统--ODS层的ETL程序很多是直接抽取的。如果分析不改,那就可以直... 显示全部 »
有点不太理解你的问题,不过通常数据仓库是要分层次的,每个层次都有不同的作用,通常业务系统表结构变化了,ETL程序时要修改的。但是通常也可以根据业务系统变化实际情况来调整ODS层就可以了,业务系统--ODS层的ETL程序很多是直接抽取的。如果分析不改,那就可以直接修改业务系统--ODS层的ETL程序即可。
Junk Dimension几乎都是每个事实表一个,很少公用。
我的理解是Ralph Kimball的Table Structure看起来那么的清爽,你弄一大堆乱七八糟的,而且很多为空的字段在事实表里是怎么个意思?不要把这玩意想得太高大上了,就是有一堆Colu... 显示全部 »
Junk Dimension几乎都是每个事实表一个,很少公用。
我的理解是Ralph Kimball的Table Structure看起来那么的清爽,你弄一大堆乱七八糟的,而且很多为空的字段在事实表里是怎么个意思?不要把这玩意想得太高大上了,就是有一堆Column,食之无味弃之可惜,“万一”以后分析用呢?不是说好了保持原子数据一万年不变吗?怎么随便就扔了呢?不扔?每个字段,什么各种状态,各种标志,各种没几个人写comment的comment字段,每个都弄一个dimension吗?那就更疯了,所以产生了junk dimension这种不伦不类的东西。
好处还是有的,一个column作为联合主键的一部分,解决了一大堆稀疏column拼凑在一起的尴尬,多多少少能减少点数据占据的空间,但基本上可以无视。索引不用建那么多了,毕竟就一个column在事实表里。未来事实表的源表里面又加了几个不疼不痒的column,你说你在仓库里的事实表是加还是不加?是不是有个junk dimension,这种事就都解决了?
 
最后,纯个人认为,最重要的功能,就是事实表看着清爽了。Kimball老师是完美主义者,太多零碎在事实表里看着闹心。
0
投票
1
回答
1366
浏览
0
投票
1
已解决
2280
浏览
1
投票
1
已解决
1599
浏览
0
投票
2
已解决
2117
浏览
0
投票
1
回答
2174
浏览
0
投票
3
已解决
2718
浏览
0
投票
1
已解决
2158
浏览
0
投票
1
回答
4624
浏览
0
投票
5
回答
2591
浏览
0
投票
1
回答
2963
浏览
1
推荐
2105
浏览

【转】数据仓库建模-数据建模基本流程

文件来源:https://ask.hellobi.com/blog/rayshawn/2983(个人)建模注意点:1.一定要清楚每一步建模的目的2.准确完成每个流程的交付物一、数据建模的基本流程 1)概念模型: 确定系统的核心以及划清系统范...

arya 发表了文章 • 2017-08-10 18:34

0
推荐
1766
浏览

【转】高质量数据库建模系列课程-建模常见的误区及错误建模的影响

文章来源:https://ask.hellobi.com/blog/rayshawn/2982数据模型的要求 1.要直观的模拟真实世界 2.容易被人理解 3.便于计算实现一、低质量建模 Steve Hoberman的《Data Model Scorecard》一...

arya 发表了文章 • 2017-08-10 17:36

1
推荐
2243
浏览

【转】数据仓库分层之辩

--转自:http://blog.itpub.net/post/14877/198599数据仓库的分层可以算是数据仓库架构的子话题。在前段时间参与的一次讨论中,笔者发现其中争论的焦点集中在每一层的作用、特点、是否有必要存在等问题。其中,大...

a174410 发表了文章 • 2016-12-21 23:03

3
推荐
2291
浏览

【转】浅谈数据仓库建设中的数据建模方法

--本文转载自IBM技术交流官网,https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/周三保(zhousb@cn.ibm.com) IBM 软件部信息技术专家.简介: 本文的主要内容不是介绍现有的...

a174410 发表了文章 • 2016-12-21 23:00

5
推荐
4015
浏览

数据仓库工具箱:维度建模的完全指南·第二版 下载

简介数据仓库工具箱——维度建模的完全指南下载(第二版)本书从维度结构建模的基本知识入手,通过给出零售、库存、采购、定单管理、顾客关系管理、帐目、人力资源管理、财经服务、电信与公用事业、交通、教育、卫...

李新贵太阳 发表了文章 • 2015-10-29 23:55

3
推荐
5250
浏览

浅谈数据仓库建设中的数据建模方法

所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据...

hank09_cai 发表了文章 • 2015-03-18 12:28