求问Metadata Driven ETL的发展以及现状

0
大部分ETL产品,如Informatica, Datastage, SSIS都是预先导入Metadata,然后基于导入后的Metadata做编程工作,而一旦源系统以及目标系统的metadata哪怕发生简单的改变,都需要重新编辑程序并重新发布。而Metadata driven的ETL采用在runtime时动态读取metadata,对于这种元数据变更的问题有非常节约的解决方案,而对于metadata driven ETL,鄙人多年来只问其声而未见其身,据所知,Ab Initio是各种翘楚,而Datastage,SSIS等工具均有一点点相关的功能,求请ETL大神赐教当下Metadata driven ETL产品的现状以及整体产品的架构模式。
已邀请:
1

harrychinese - DW/BI, 大数据, Web开发, 从需求到交付, 无不涉猎 2016-09-24 回答

接触了很多厂商, 很多产品吹嘘得都很好, 也小范围地实验过.  说真的, 基本没什么用, 太理想了.
0

BIWORK - 热衷于微软BI技术,技术架构和解决方案! 2015-09-25 回答

说实话在 SSIS 中没有用过这类管理工具,并且我不太明白这里的 Metadata 具体是指什么,那种类型的元数据? 是源系统数据结构还是描述定义还是其它方面。
 
微软 BI 中 SSIS 处理比较简单,源系统结构发生变化只需要在包中简单的配置一下就可以了,包括像部署的过程也非常简单,不需要做很多额外的工作,除非源系统结构和目标结构发生非常大的变化。
 
0

seng - 从事BI、大数据、数据分析工作 2015-09-25 回答

Metadata driven ETL这部分相关的工具我也不了解,
不过从我的角度来说我希望ETL所有过程是一切尽在掌握中,该报错的就是要报错,而不是要智能,如字段从string换成date,这个系统是要自动转换还是不要,我不能确认。
但是如果我要修改的话,希望足够智能,现在是由一些辅助工具了,使用血缘分析可惜把相关的mapping都找出来,但是怎么一键修改我不知道有什么工具实现了。
 

要回复问题请先登录注册