请教下,有做ODS层落地的方案不,数据源有多种的情况

0
有多个数据源,mysql,sqlserver,日志文件,这些抽取到ODS层,有什么方案来做。
已邀请:
2

我是最优雅的杀手,不杀人专杀狗 - 日光之下并无新事 2016-02-20 回答

以下是项目设计的一个ODS系统架构,主要实现点,希望可以对你有所帮助。
a.整合源系统的数据,对数据从业务视角来整合之间的关系,统一不同的源代码。
b.将起到一个隔离的作用,后续的EDW应用将只能使用ODS的数据。
c.对数据做清洗,同时使数据标准化,提升数据质量。
d.保存历史数据,对EDW历史数据统计分析提供支持。
e.建模采用3NF,保证数据稳定性和可扩展性。
下图是,ODS系统架构示意图:

 
0

gogodiy - 天善智能数据库专家、Tableau爱好者 2015-12-03 回答

首先要看你ODS用什么数据库了。由于数据源很多,那么必然有数据类型无法兼容的情况,我们的处理方法是将所有的数据源都先转换成文本文件,然后通过一个调度程序从这些文本文件中读取数据输入ODS。文本文件的格式需要统一,我们采用的是UTF-8。

要回复问题请先登录注册