盲人摸象 - 数据架构学习笔记 - 开篇

浏览: 7657

     一直以来,在数据架构的学习中漫无目的的游走,虽经年沉积却发现知识体系凌乱异常。在此,尽可能以初学者的心态重新梳理并组织一下学习的心得体会,温故以便知新。

     传统DW+BI由孕育到兴起,至今已有20余年,20年来无论商界还是IT均认同此为未来发展之重要航标,但20年来一直不温不火,从未有颠覆性的创新。直至近年来大数据横空出世,DATA2VALUE的呼声甚嚣尘上,忽有职业生涯或有改天换地之感,但瞬间又被砸回原地:老一套的的数据仓库,ETL工具,Analytic & Report工具似被时代所抛弃,取而代之的如Hadoop, Spark, 各种新鲜的平台及名词,各类颠覆性话题纷至沓来,一时间仿佛换了天地,搞了10+年的DATA,居然一夜间变成门外汉。

     待细细思量,其根本仍是基于DIKW数据到智慧的转换。商业尚未颠覆,技术先行一步。因IT人素以终生学习为念,为顺应时代,痛定思痛,遂持初学者心态,吐故纳新,总结从前凌乱的知识体系并接受新时代大数据观念的再教育,就此开篇。

      数据架构大而言之,包罗万象,所有与数据相关的内容尽可囊括其中。如下仅仅是一略图,真实数据架构内容全貌远超于此。      


      作为企业级信息架构师,通常在做数据仓库规划时,通常需要考虑如下问题:

      1. 企业期待数据仓库应用解决何种商业问题?

      2. 是否有企业级信息蓝图可参照?

      3. 是否有企业标准元数据模型作为基准?如商业术语库,Metrics描述等。

      4. 哪些现有系统将作为数据源引入?

      5. 哪些系统未来将从数据仓库中获取数据?

      ......

     在规划之初,需要了解诸多如上问题以及搜集相关资料,然后做足够的基础数据分析以便清晰的描绘企业期待的数据仓库蓝图。而后,在做过足够的功课以后,对各级客户(业务专家/技术专家/以及各种高瞻远瞩的人们)进行必要的访谈,逐步理清思路,厘清需求以及清晰未来的愿景。于是从另外的一个维度考虑,项目的起承转合,逐步深入,总有些章法可循,即所谓项目的生命周期。暂列蓝图如下。

   

 

     如上面两个思维导向图所示,盲人摸象温故知新系列读书笔记将尽可能的针对各部分进行详尽的描述,力求每一章对项目落地执行有指导意义。


--思维导向图实在太大,请在别的页面上放大来看。图里的内容还是挺多的。

上传附件如下,请用xmind打开。




广告区:

本人2016-1-17开始推出的数据仓库建模指南系列课程,链接如下

http://www.hellobi.com/course/54

上线日期:2016-01-17

上线10天,410名观众

目前上线11天,451名观众

Clipboard Image.png

推荐 17
本文由 BAO胖子 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

22 个评论

没有预览功能,并且图如果宽了就太丑了
预览功能,后续会加上的,谢谢老大的提醒。第一张图片貌似没显示出来。
重新弄完了,现在可以了。
好文章,思维导图思路很清晰。因IT人素以终生学习为念,为顺应时代,这句话听完好心酸
学习,感谢分享。
一夜之间成为门外汉,这话好心酸啊!谢谢分享~
天善的学习氛围越来越好了,点个赞
这个文件能分享一下吗
图片,你直接点图片上面内存为图片另存为 就可以保存到本地啊。
xmind源文件已上传
一大早就看到你的文章,榜样!
最近斗地主太多了,怕玩物丧志,多写写blog,省得脑子生锈
下载啊,,数据架构图真经典,谢谢分享。
思维导图的信息量好大
斗地主都能写成这样的话,我们天天去斗地主,哈哈
胖子,写的不错,文采很好,没看出来那
厉害。学习,信息量好大。
学习了,写的真好
又温故了一遍。。
从整体上有一个概览,非常直接。如果再把hadoop,spark,habase等加进来就更完美了
哈哈,hadoop什么的我也在学习中,在那一领域太弱,不敢乱加
还真是,才毕业就是做基于Hadoop与Hive的数据仓库,与楼主说的传统DW略有区别,但很多思想可以借鉴过去的

要回复文章请先登录注册