ETL

ETL Kettle 两地同数据库 离线数据增量同步

0

新人求教
想实现A地数据库 同步到 B地数据库 根据时间过滤数据,A地不能上网,数据库结构相同;初步想从A地用kettle工具根据时间过滤数据导出SQl文件,或其他形式文件,传输到B地,用Kettle工具导入SQL文件或其他格式文件,实现同步,有没有高人指点一下怎样导出数据和导入数据怎么做,数据库表是不是都要一张一张比对时间,能不能全体比较一次
万分感谢 
 
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-10-28 回答

看一下你是什么数据库,SQLServer可以启用cdc,mysql可以监控bin log.
然后定时将数导出,再导入到B地的数据库中。
还有就是为啥A地不能上网啊。不能上网。数据是怎么写入的啊。难道导出的时候还需要手工导出?
0

子建 - Kettle讲师、顾问、数据仓库架构 2015-10-28 回答

导入导出数据就用kettle里面的组件就可以了啊,做增量,你可以每天导出固定时间段的数据,然后直接同步到B库,第一次做下抽取加载步骤,后续每天直接运行就好了
0

BAO胖子 - 15年BI经验,涉足电力,快消品,医药,信息服务等行业的BI老兵。 2015-10-28 回答

如果是全数据库的同步,是不是应该有别的手段啊?各个数据各有不同,Kettle是ETL的解决工具,貌似你这只有E和L的需求,不见得用Kettle。搞个什么replication就行了。SQLServer应该有这功能,早年还用过SQL Server的BCP功能,也很是好用,不见得非得Kettle。
0

jjzhangfre - 数仓、ETL 2015-10-28 回答

没看懂你这需求,A地不能上外网  那么B地可否访问A服务器。如果可以访问的话像上面说的直接做初始化、增量即可。

要回复问题请先登录注册