对于海量事实表如何更新?
0
业务场景:
我通过Oracle Golden Gate 将原先OLTP的库拷贝一份到新库的ODS层中,我通过写存储过程的方法将原先的规范化的表进行反规范化操 作,组成OLAP系统需要的宽表。
问题:原先OLTP库中订单的数据状态存更新操作,而我在做ETL过程后不清楚更新操作是什么时候发生的。我此前设计的时候想在我的ods层表中增加一个触发器和最后更新时间字段,当发生更新操作时更新最后更新时间,通过ETL中的日志记录来处理这些更新的数据,但是这个系统数据量有1亿的规模,我怕加了触发器会产生性能问题。各位有什么更好的解决办法吗?先谢谢了!
我通过Oracle Golden Gate 将原先OLTP的库拷贝一份到新库的ODS层中,我通过写存储过程的方法将原先的规范化的表进行反规范化操 作,组成OLAP系统需要的宽表。
问题:原先OLTP库中订单的数据状态存更新操作,而我在做ETL过程后不清楚更新操作是什么时候发生的。我此前设计的时候想在我的ods层表中增加一个触发器和最后更新时间字段,当发生更新操作时更新最后更新时间,通过ETL中的日志记录来处理这些更新的数据,但是这个系统数据量有1亿的规模,我怕加了触发器会产生性能问题。各位有什么更好的解决办法吗?先谢谢了!
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
3 个回复
jjzhangfre - 数仓、ETL 2015-12-31 回答
赞同来自:
seng - 从事BI、大数据、数据分析工作 2015-12-20 回答
赞同来自:
老头子 - 专注是唯一的捷径 2015-12-25 回答
赞同来自:
你的单次update量是多少?你的并发量大吗?如果并发太大小心锁表呃