如何提高kettle进行多个联合主键插入更新的效率

0
   
   是这样的,小弟手上碰到一个奇葩业务,一个表有4个字段是联合主键的,这个表里面有1亿条数据,每天有50w的增量,这50w的增量里面有20w是更新量,我现在需要每5分钟对这个表的数据进行抽取到另外一个目标表中,目标表的表结构和原表结构一样,每5分钟进行插入更新到目标表中;目前用kettle的插入更新(4个主键同时比对)速度实在太慢,如果只比较一个主键效率还是可以的,但是4个主键实在太慢。
 
   各位大神有什么好办法没,谢谢了!
 
   谢谢了!
   谢谢了!
已邀请:
0

GeorgeYao - 路漫漫其修远兮,吾将上下而求索! 2016-12-09 回答

你可以试着用数据库的存储过程来实现,看看会不会快些。
0

li052468 2016-12-09 回答

如果可以改表结构的话,增加一个由4个联合主键字段生成的字段,然后根据这个更新

要回复问题请先登录注册