表同步问题

0
还是三张表  主表有 主键ID  目标表没有主键 但是有id   三张表都有一个关于最后跟新时间的字段  但是 主表最后跟新时间的字段是
last_modify_time   目标表最后跟新时间字段都是  modify_date 字段的类型都是 datetime 类型
 
现在需要对三张表进行同步  要求是全程无人值守
 就是 说kettle 需要自己知道什么时候去更新,更新哪些内容 ,更新的时候  只能把更新的数据插入到目标表里面,不能破坏目标表的原有的数据
 
之前做过跟多次的尝试  均告失败  希望大师们能够帮忙给点思路
已邀请:
1

jjzhangfre - 数仓、ETL 2015-12-30 回答

你的意思是自动触发咯,没用过KETTLE。但理解下来两种方式咯。
1.轮询主表比如1分钟或两分钟轮询下主表。根据主表最后更新时间字段判断 如果跟系统时间差在轮询频率时间范围内就执行调度。
2.生成张新表,用触发器提取主表变更数据插入新表中。其实还是轮询新表,有数据执行调度,调度完删除数据。
不知道管不管用,你参考下
 
0

li052468 2015-12-16 回答

可以建一张表存你上次处理时主表最新的时间,下次处理取这个时间以后的数据

要回复问题请先登录注册