大家好,向大家请教一个问题 BI中如果 ETL 数据已经抽取后 而源业务表中又有大量的更改,要如果检测呢,备注:源数据系统是别外一家的厂商的,只肯提供视图给您的,没有别东西,谢谢大家!我想大家在工作中肯定也有碰到这个问题

0
已邀请:
2

BIWORK - 热衷于微软BI技术,技术架构和解决方案! 2014-08-01 回答

这种抽取本身在数据仓库设计阶段就要考虑到的,源数据肯定是会发生变化的。不同的源数据可能发生的变化不同,有的是增量变化,也就是每条数据的变动都会记录一次最后修改时间,有的是非增量变化就是变化了就变化了,没有时间戳让你判断什么时候发生的改变。

像这种情况在设计从源到DW抽取的时候都需要考虑到,因为这种抽取是非一次性抽取。

这篇文章介绍了增量加载的几种策略 - http://www.cnblogs.com/biwork/p/3446236.html
这篇文章介绍了如何实现数据同步 - http://www.cnblogs.com/biwork/p/3370335.html
1

redarmy3 - 一句话介绍 2014-07-25 回答

个人的一点拙见,仅供大家参考。
这个可能得看在设计阶段时候定义这类修改,比如修改只能改三个月以内的业务数据,
再以前的就不care了,那样的话,fact的ETL就可以每次更新三个月的部分。
而如果任何时间点的数据都可能发生修改,我们以前的做法是,由support去做刷新fact的工作。
比如每个月的月初,定期的更新全量的fact表,ETL刷新数据范围的控制最好做的自动化一些,比如修改一个参数就可以控制刷新数据的范围。如果突然大量修改历史数据,可以作为临时工作,由support去做刷新。

要回复问题请先登录注册