ODS

关于ODS数据清洗和数据转换的疑问

0
ODS层的数据是完全贴源的么,数据清洗、数据转换等数据质量的操作是在源系统到ods层完成的,还是在ods层到dw层完成的呢?
已邀请:
1

我是最优雅的杀手,不杀人专杀狗 - 日光之下并无新事 2016-04-27 回答

1.ODS层数据一般是贴源系统设计的,在由业务系统抽取数据落地到ODS系统中,我们一般会增加一些审计字段。主要作用还是作为一个数据隔离。后续的应用将只使用ODS层的数据。
2.ODS系统的数据到EDW加载的时候,我们会根据数据质量要求原则对数据进行清洗,使数据标准化。
http://www.flybi.net/blog/Zeehom/3060  是我这边在ODS系统实现的数据清洗。
0

郑大鹏 2016-04-27 回答

参考一下这个问答:
大数据时代如何建设ODS? - 商业智能精英问答社区,让交流更具价值 | 天善问答  
http://www.flybi.net/question/13508
 
ODS层的实际是这样的:
1. 多系统原子级别的数据集成
2. 实时或者准实时,一般分钟级,现在有的要求秒级别
3. 有些operation层解决不了的查询和分析,需要拿到ODS层解决
4. 数据会挥发(挥发到DW层去了),不保留历史。所以拉链表是纯粹的DW的产物,ODS的data archiving都会流向DW的历史表,ODS层没有拉链表。
0

GeorgeYao - 路漫漫其修远兮,吾将上下而求索! 2016-04-29 回答

其实,BAO胖子和BIWORK已经描述的很清楚了,针对不同的数据库产品,都阐述项目实战中的个人观点:
http://www.flybi.net/question/13508

要回复问题请先登录注册