对于数据仓库后期数据量及访问人说暴增导致效率降低,有没有更好的处理方法?

0
已邀请:
0

天善小编 - 微信直播问题收集 2016-04-27 回答

一书:可以考虑建个数据集市

Caesar:可以考虑建立多个数据模型

刘冲:已经对各个部门建立了集市,反正现在就是慢的要命,都快不是T+1了

[表情]:访问量剧增意味着报表查询量大,可以考虑优化查询SQL或者优化报表模型。
0

郑大鹏 2016-04-27 回答

针对访问多的、访问时间长的 优化
0

我是最优雅的杀手,不杀人专杀狗 - 日光之下并无新事 2016-04-27 回答

在数据仓库逻辑模型设计的时候,可以考虑
1.优化数据库表结构,优化数据存储。
比如通过冗余相应字段,子表上收,子表合并等手段,进来减少数据使用时Join次数,从而优化存储结构,提高数据使用效率。
2.提高仓库运行效率,缩短时间窗口
主要可以考虑:主键清理,表分区,索引等。同时,通过适当的应用相关冗余,减少应用从数据仓库取数据的复杂度,从而提高仓库的使用效率。主要技术手段有:建设预关联,增加适当的冗余字段,使用视图等。
3.业务层面优化
对历史数据单独做报表来呈现数据,对经常行访问指标,可以讲逻辑处理放到后台实现。
4.优化数据集市
 
总之,根据现有数据架构,做逻辑模型设计和物理模型设计要考虑以后当数据量增大和业务复杂度增加,现有数据架构以及模型是否可以承载。
 
 
0

seng - 从事BI、大数据、数据分析工作 2016-04-28 回答

这个要具体问题具体分析了。
如果是基于关系数据库的数据仓库方案,提高数据库性能是首选,先确认硬件是否到瓶颈了,然后就是表结构上是否能优化。

要回复问题请先登录注册