cube数据量大速度慢,如何优化提升性能?

0
ssas中的cube每天执行更新都要好几个小时,查询包含从2005年到现在的数据,最大表都是上亿条数据,有两三张这样的表,其次都是千万百万级的表,ssis执行job每天也要三四个小时,现在报表非常慢,半天出不来,我觉得是cube太慢的问题吧,各位大神能指点下怎么才能提升性能速度呢??
已邀请:
1

梁勇 - 天道酬勤、上善若水。爱好商业智能 2015-08-13 回答

除了Cube本身要做分区、聚合外,处理的时候要 做增量处理,还有就是数据仓库底层的设计好坏,对Cube影响也比较大,特别是维度的设计。。 社区都有类似文章,可以参考下
 
SSAS Cube优化笔记记录大全 来自天善与xpivot经典问与答 【N年经验实战分享,经典12问12答,持续更新】 http://www.flybi.net/article/311  
SSAS/MDX 查询优化问题总结与解决方案大全 http://www.flybi.net/question/92
大数据维度的MDX模型中的性能如何优化? http://www.flybi.net/question/1286
0

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-08-13 回答

cube有做分区吗? 你的Cube 更新是增量做的吗
 
0

lxljw1314 2015-08-13 回答

有几个cube特么大,所以做过分区,2014以前和2014以后分成了两个;更新好像是全量的
0

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-08-13 回答

更新的时候选择只更新最近的,对于数据仓库而言。 以前的记录肯定是不会发生变化的。
一个区是多少数据量呢
0

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-08-13 回答

你如果觉得处理的时候慢,那么你要注意一下处理的时候的 TSQL语句 这些是可以看到的。
还有你的维度表是不是很大? DISTICT量值操作多不多,这些都会影响process的性能
0

lxljw1314 2015-08-13 回答

恩,之前项目开发的东西后来人走了,现在太慢了报表出不来得优化才行。
一个分区的数据量具体不记得了,我只做了两个分区,2014以前的肯定要大,2014之后的只有一年多的数据,之前一个cube是一两个g的大小。其实主要慢的就是那几个上亿数据的表,维度方面也有几个比较大的,放了几十个属性。
cube里的聚合没用过,之后去看看。
还有就是我不知道一般这种情况,cube处理多久才算正常范围呢?

要回复问题请先登录注册