kettle如何实现数据覆盖功能

0
现在的应用场景是这样的
1.  源系统: 3个
2.  3个来源系统的数据是有依赖的 [eg:  CORE(核心系统),CRM,CAR(车企贷系统)   ;    入我们集市的优先级为:  CORE  > CRM  >  CAR]
我们目前要实现的就是 Core,CRM,CAR的客户信息入到我们集市之后要实现数据覆盖功能,Core系统的字段如果没有值的,后面的两个系统则来填充Core没有值的字段,前提是不能覆盖Core系统已有的字段;

以上是应用场景, 麻烦各位帮忙看看,这个应用场景能在kettle中实现吗?  如若是不能实现的话,麻烦给做个提示,看看该怎么做呢,多谢各位,帮个忙哈..
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-10-28 回答

从我个人感觉,这个已经脱离了kettle的范围了,kettle的界面化只是简化了你处理工作的流程,而你这个可能涉及到到了处理数据的架构上了,如果你的3个来源系统的数据都是海量。那你需要构建一个中间库系统来处理数据,然后导入到集市中,中间库系统的作用,就是处理各种数据,处理完成以后,直接放入集市,避免在集市中再出现垃圾数据。
如果3个数据库的数据量都不大。又是sqlserver的数据库,那直接用linkserver的方式,采用case when的形式就能处理掉。

要回复问题请先登录注册