OLAP

OLAP

3
推荐
1906
浏览

Apache Kylin v2.4.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.4.1 正式发布!欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进...

Kyligence 发表了文章 • 2018-09-11 14:47

0
投票
4
已解决
10212
浏览
2
推荐
1905
浏览

Smartbi与Kyligence宣布完成双方产品双向认证

定位于前端数据分析,对接各种业务数据路、数据仓库和大数据平台的“思迈特大数据分析软件”(简称Smartbi Insight),整合了各行业数据分析和决策支持的功能需求,满足各种数据分析应用需求,如大数据分析、自助探...

大麦 发表了文章 • 2018-01-09 09:16

2
推荐
2157
浏览

【数据蒋堂】第6期:我们需要怎样的OLAP?

被狭义化的OLAPOLAP是商业智能应用中重要的组成部分,这个词从字面上理解是在线分析的意思,也就是由用户,特别是业务人员,面对数据进行各种分析操作。但是,现在的OLAP概念被严重狭义化了。说到OLAP,基本上仅...

润乾软件 发表了文章 • 2017-06-28 15:18

0
推荐
1905
浏览

秒懂数据统计、数据挖掘、大数据、OLAP的区别

今天,在大数据领域里,经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖...

datakong 发表了文章 • 2017-05-12 09:22

1
推荐
2248
浏览

OLAP解析与发展方向

前言:数据分析领域自2010前后一直占据了全球信息技术的核心地位,OLAP的需求并未随着Hadoop的流行而消亡,而是被越来越理智的认可——“数据再多也需要分析、分析的主要需求还是交互查询”。本文概括了OLAP的本质原...

大麦 发表了文章 • 2016-11-28 09:56

0
投票
0
回答
1296
浏览
0
推荐
2223
浏览

OLAP春风得意,你造吗?

自有数据库以来,数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、...

大麦 发表了文章 • 2016-11-17 13:50

0
投票
4
回答
2449
浏览
0
投票
4
已解决
2582
浏览
0
投票
1
已解决
2397
浏览
0
推荐
3314
浏览

天善智能数据仓库基础知识讲解(OLAP&OLTP)

原文地址:天善智能数据仓库基础知识讲解(OLAP&OLTP)现在我们已经提供了更加高清、内容更丰富的视频教程,您可以前往优酷观看,或者天善学院观看。该视频是天善智能Cognos网络培训班上课实录,由天善金牌讲...

天善智能 发表了文章 • 2015-10-11 23:24

0
推荐
3193
浏览

设计和实现OLAP解决方案

第一讲 简介首先,啥叫数据仓库?数据仓库就是数据的仓库!用外文说叫Data Warehouse,简称DW。是不是哐当倒下一片啊,要不咱换个专业点的说法?数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变...

哥本哈士奇 发表了文章 • 2015-10-04 19:13

条新动态, 点击查看
andrea_zhou

andrea_zhou 回答了问题 • 2013-06-28 08:59 • 1 个回复 不感兴趣

OLAP和OLTP的区别?

赞同来自:

首先,定义给出,OLTP(on-line transaction process)联机事务处理,OLAP(on-line analytic process)联机分析处理。前者用于业务处理,强调系统的快速、稳定、以及一致性。后者用于企业分析处理,强调业务的表达以... 显示全部 »
首先,定义给出,OLTP(on-line transaction process)联机事务处理,OLAP(on-line analytic process)联机分析处理。前者用于业务处理,强调系统的快速、稳定、以及一致性。后者用于企业分析处理,强调业务的表达以及分析交互性,后者的数据通常来源与前者。
他们的产生要追溯到蛮久之前了,最开始阶段,约莫60年代时,是只有OLTP的,发展到了90年代,93年的时候,跟现在很多企业以及能认识到的一样,关系数据库之父E.F.CODE认为OLTP已满足不了企业的数据查询分析统计等需求,提出了多维数据库多维分析的概念,他发表了OLAP的12项准则,由此OLAP的概念便慢慢被行业接受开来。
对应到我们现在的BI项目里,OLTP系统通常会指的是我们的各个业务系统,用户在其中每天进行着重复的操作,单据录入,档案维护,使得企业业务运营正常展开,OLAP系统可指我们的多维数据库,亦可以意指我们的BI系统,具体情况下会有不同意思。强调的是用于分析的系统,用于监控企业运用,发现问题,分析问题。
OLAP又可分为MOLAP、ROLAP、HOLAP,MOLAP存定义存聚合数,ROLAP通常存定义不存聚合(有时也有聚合表),HOLAP介于上述两者之间。
大概10年前的时候,MOLAP是很流行的,大部分项目中都要配置OLAP数据库,即多维数据库,那些年将BI的技术定义为三大块:数据仓库、OLAP、数据挖掘,也是这个情况了。十年河东十年河西,果然,现在很多企业都放弃了MOLAP,转向ROLAP产品了,这一状况,也与现在硬件的升级,内存等资源的性价比更合理有关。现在的主流产品,BIEE、BO、COGNOS的FM,都是类ROLAP的,微软SSAS、ORACEL收购的HYPERION的ESSBASE(不知还有无,以前真的很火),COGNOS TR,SAP BW等,都以MOLAP为基础的。至于现在新出现的Qlikview,设计为在内存中进行关联组合查询,就有点不太好归类了。
andrea_zhou

andrea_zhou 回答了问题 • 2015-09-09 23:35 • 4 个回复 不感兴趣

关于OLTP和OLAP的疑问

赞同来自:

我来八一八吧。
OLAP,这个东西啊,他的出现有好些年头了,E.F.Codd都对OLAP好像有过12条定义,你有兴趣的话可以去看看。
OLAP是分ROLAP和MOLAP的,区别是ROLAP存汇总的定义不存数,而MOLAP存定义也存数了。
毫无疑问,ROLAP省... 显示全部 »
我来八一八吧。
OLAP,这个东西啊,他的出现有好些年头了,E.F.Codd都对OLAP好像有过12条定义,你有兴趣的话可以去看看。
OLAP是分ROLAP和MOLAP的,区别是ROLAP存汇总的定义不存数,而MOLAP存定义也存数了。
毫无疑问,ROLAP省空间,但是在机器性能不够好的时候会慢,而MOLAP费空间,但是速度会快一些(事实上,数据量太大的时候,两者都慢)。MOLAP走的是牺牲空间换取时间的路子。
因此呢,在OLAP发展的历程中,是十年河东十年河西再十年河东,最开始是ROLAP然后是火了MOLAP,然后现在机器性能上来之后又是ROLAP了。机器性能上来了,表现在HANA可以搞几个T的内存配置机器。而大数据平台下也有相应的OLAP方案了。
好了。你的问题
1、OLAP是为了大量数据的查询而生,这也不算错,不过我宁愿认为数据仓库系统或者决策支持系统(BI前身的术语)的出现,是做业务和做统计功能的分离的需要。好像也是E.F.Codd大神那么多年前提出来的,真的很多年。
OLAP的牛,在于它的多维,在于灵活的切片旋转上钻下钻。在于可以基于它让用户自己动起来。探索问题,定位原因。这个我以前有帖子说过,有空的话可以看看。 http://www.flybi.net/question/47
2、OLAP必然是基于数据仓库比较好。如果你做CUBE,MOLAP,则会基于数据仓库或者数据集市去加载CUBE。如果你用ROLAP,你最好基于数据仓库去建立语义层,譬如COGNOS的FM,BIEE和BO也有类似的层。
3、几十几百T的MOLAP,我估计一般服务器承载不了。或者ROLAP可以,毕竟你查询如果涉及到的数据量不大的时候应该还可以。
数据抽取没什么特别,制定好增量策略,没有谁会总是跑全量,因此你需要描述一下你的增量。
而且,并非业务系统里所有字段,所有表都是有必要进数仓的。
4、其他,也没太多了,其实OLAP理解了之后,真的很好学,也很好用,是BI里一个不过时的概念。多维的概念,理解了就好,非常的强大。曾经在一次,碰到客户一个高级总监,他一直说Root cause分析这些的,说到底,还是基于OLAP的多维分析再上钻下钻切片等。 现实世界很复杂,但是很多东西以多维的角度来理解,就发现会变简单很多。
 
gogodiy

gogodiy 回答了问题 • 2015-10-26 11:25 • 1 个回复 不感兴趣

BI中的多维数据模型和OLAP的实用价值在哪?

赞同来自:

个人看法:不同的使用者,从不同的需求出发,按照不同的维度,会得到不同的结果。OLAP就是尽可能将所有的维度条件及聚合值都准备好,供使用者自行挑选搭配使用。
比如对于企业的决策层来说,他不会去看最明细数据,但是有可能需要下钻到比较粗的粒度观察数据;也有可能需要从... 显示全部 »
个人看法:不同的使用者,从不同的需求出发,按照不同的维度,会得到不同的结果。OLAP就是尽可能将所有的维度条件及聚合值都准备好,供使用者自行挑选搭配使用。
比如对于企业的决策层来说,他不会去看最明细数据,但是有可能需要下钻到比较粗的粒度观察数据;也有可能需要从组织结构观察数据、或者从日期时间维度来分析数据,这就使用到了下钻、切边、切块、转轴等功能。
对于中层管理者来说,他既要观察与他所处层级匹配的汇总数据,又能分析到所属每个员工的明细数据,更多的时候是方便在两者之间自由切换查询,这时候上卷、下钻就是个很常用的功能。
以上仅为个人观点。
BAO胖子

BAO胖子 回答了问题 • 2015-11-24 18:24 • 4 个回复 不感兴趣

关于Oracle DB OLAP选件与essbase的问题

赞同来自:

注:本人多年未在项目实操中使用Essbase,所说一切均缺乏实践检验,仅供参考。
 
1. Essbase是Hyperion的产品,因为Hyperion在2008年被Oracle以35亿美元收购,从此转入Oracle旗下。而Oracle从前自己也有一套OLAP... 显示全部 »
注:本人多年未在项目实操中使用Essbase,所说一切均缺乏实践检验,仅供参考。
 
1. Essbase是Hyperion的产品,因为Hyperion在2008年被Oracle以35亿美元收购,从此转入Oracle旗下。而Oracle从前自己也有一套OLAP产品,也是MOLAP架构,叫做Oracle Express,在MOLAP市场占有率上估计不到Hyperion Essbase的五分之一,也有配套的前端工具Discover,这东西好像我2001年的时候用过一次从此再没有听说人用过。不过Oracle在Express上投入了相当大的精力,可以跨OLTP和OLAP两种不同特质的数据源写SQL,Essbase不能支持这种功能。应该说这产品其实可能也没那么差,但总的说来销售的不是很好,而Oracle收购了Hyperion以后,由于产品线的重叠,一定程度上来说Express都是Oracle次要的选择。
 
2. 所以,如果你所说的Oracle DB OLAP部件是Express的话,和Essbase相比,除功能外,你最需要关注的是:价格,以及你的需求是不是非得Essbase不可。
 
3. MOLAP的功能和ROLAP还是有很大的差异,主要在于查询的效率以及丰富的函数等功能的差异,这不妨碍你在Oracle里面还是按Star Schema里面构建模型,然后加载人Essbase或者Express中。
 
4. 各种MOLAP产品都是Cube(立方体)模式,虽然建模方式大同小异,但存储方式都有很大差异。而Cube模式都非常注重对于Fact Measurement的属性定义,roll up计算规则,维度的hierarchy等定义,以方便计算。他们是特殊的多维模型,但和Ralph Kimball的维度建模又不太一样,具体区别一言难尽。
 
5. 另外Essbase有不可忽视的功能就是数据回写,在分摊计算等方面具有非常卓越的能力。
 
 
 
同程吴文波:spark做olap?

天天向上:@大连-K12-王东 spark现在还是一种计算框架 。。

王东:greenplum和spark选型如何取舍呢?

同程吴文波:真有这样的方案哦

小小蜗牛爬上墙:olap用cognos,ibm推广较好的,据说... 显示全部 »
同程吴文波:spark做olap?

天天向上:@大连-K12-王东 spark现在还是一种计算框架 。。

王东:greenplum和spark选型如何取舍呢?

同程吴文波:真有这样的方案哦

小小蜗牛爬上墙:olap用cognos,ibm推广较好的,据说11R版本的cognos会支持hadoop。

锋:spark现在是不是发展很快。

小小蜗牛爬上墙:看来从传统数据仓库往大数据平台迁移任重道远呀。

天天向上:还是要找到价值点,不能盲目的上大数据。

春宇:传统数据仓库和大数据平台分工不同,列存,MPP能够解决的事情,不见得非得挪到Hadoop上去。

同程吴文波:@大连-K12-王东 怎么想到用spark做olap?

春宇:现在就是觉得系统太多,企业统一化的数据视图更难画了

大米:主要的生产数据还是用主流关系数据库,分析用hadoop是这样理解吗?

王东:@同程吴文波 我就是觉得数据层的东西太多,开发维护成本有点高,所以想用spark解决olap和大数据分析等各种场景

同程吴文波:@大连-K12-王东 试试Hadoop+kylin 或spark+cassandra等组合

王东:我们也打算围绕spark做呢,但是这块儿没实际操作过,比较担心olap的响应速度。

Shadow 杨:@大连-K12-王东 [发呆]多大的数据量,数据量不到一定程度,根本发挥不出来。

王东:@Shadow 杨 事实表千万级别,维度表特别多有上百。

同程吴文波:@大连-K12-王东 你的这些用普通db来构建olap就好 

Shadow 杨:@同程吴文波 同意你

天天向上:普通的就可以啊,微软的sass就搞定了。

王东:事实表千万级别greenplum行吗?

同程吴文波:@大连-K12-王东 gp是可以搞定的。但是你的那个数据量用SSAS也就行的。使用SSD 3.2T的+128G内存 或 256G就OK

王东:cognos和ssas是一个量级的么?

春宇:Cognos你用什么?PowerCube?Dynamic Cube?还是TM1?

王东:cognos也没实际用过,这几个cube啥区别啊

春宇:@大连-K12-王东 话题太长,可单聊,但就性价比而言,还是建议你选择SSAS或者开源的OLAP引擎。
0
投票
4
已解决
4304
浏览
0
投票
4
已解决
10212
浏览
0
投票
0
回答
1296
浏览
0
投票
4
回答
2449
浏览
0
投票
4
已解决
2582
浏览
0
投票
1
已解决
2397
浏览
0
投票
1
回答
2045
浏览
0
投票
2
回答
2816
浏览
0
投票
1
回答
2620
浏览

存储模式ROLAP/MOLAP?

天桥下的郑成功 回复了问题 • 2015-09-11 15:01
0
投票
4
已解决
4304
浏览
0
投票
1
已解决
5207
浏览
3
推荐
1906
浏览

Apache Kylin v2.4.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.4.1 正式发布!欢迎大家下载使用。Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进...

Kyligence 发表了文章 • 2018-09-11 14:47

2
推荐
1905
浏览

Smartbi与Kyligence宣布完成双方产品双向认证

定位于前端数据分析,对接各种业务数据路、数据仓库和大数据平台的“思迈特大数据分析软件”(简称Smartbi Insight),整合了各行业数据分析和决策支持的功能需求,满足各种数据分析应用需求,如大数据分析、自助探...

大麦 发表了文章 • 2018-01-09 09:16

2
推荐
2157
浏览

【数据蒋堂】第6期:我们需要怎样的OLAP?

被狭义化的OLAPOLAP是商业智能应用中重要的组成部分,这个词从字面上理解是在线分析的意思,也就是由用户,特别是业务人员,面对数据进行各种分析操作。但是,现在的OLAP概念被严重狭义化了。说到OLAP,基本上仅...

润乾软件 发表了文章 • 2017-06-28 15:18

0
推荐
1905
浏览

秒懂数据统计、数据挖掘、大数据、OLAP的区别

今天,在大数据领域里,经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖...

datakong 发表了文章 • 2017-05-12 09:22

1
推荐
2248
浏览

OLAP解析与发展方向

前言:数据分析领域自2010前后一直占据了全球信息技术的核心地位,OLAP的需求并未随着Hadoop的流行而消亡,而是被越来越理智的认可——“数据再多也需要分析、分析的主要需求还是交互查询”。本文概括了OLAP的本质原...

大麦 发表了文章 • 2016-11-28 09:56

0
推荐
2223
浏览

OLAP春风得意,你造吗?

自有数据库以来,数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、...

大麦 发表了文章 • 2016-11-17 13:50

0
推荐
3314
浏览

天善智能数据仓库基础知识讲解(OLAP&OLTP)

原文地址:天善智能数据仓库基础知识讲解(OLAP&OLTP)现在我们已经提供了更加高清、内容更丰富的视频教程,您可以前往优酷观看,或者天善学院观看。该视频是天善智能Cognos网络培训班上课实录,由天善金牌讲...

天善智能 发表了文章 • 2015-10-11 23:24

0
推荐
3193
浏览

设计和实现OLAP解决方案

第一讲 简介首先,啥叫数据仓库?数据仓库就是数据的仓库!用外文说叫Data Warehouse,简称DW。是不是哐当倒下一片啊,要不咱换个专业点的说法?数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变...

哥本哈士奇 发表了文章 • 2015-10-04 19:13

0
推荐
2809
浏览

使用ROLAP - Oracle OLAP

示例数据以简单模型为例:Dept_DIM 部门维表Emp_FT 雇员事实表事实表以员工所属部门号DEPTNO关联维表Dept_DIMOracle OLAP使用流程OLAP对象结构图创建Dimension打开analytic workspace manager1) &...

newkoa 发表了文章 • 2015-10-03 08:34