kettle跑job某些时候会挂起

0
我描述下问题:
 
我是用kettle做的数据同步,将IDC机房中oracle数据库的某几张表的数据同步到阿里云中的mysql数据库中
是用的表输入和表输出做的数据同步
机器是liunx机器,job的调度是用crontab调度的
 
每天早上跑一次,一般跑2-3天会挂起一次,挂起的状态见图,同步的数据有30万,但是看日志跑到25w多的时候就不动了
无标题.png

用ps-ef|grep kettle 能看到kettle的进程还在跑着
 
有没有人知道这个是什么情况。。。

 
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-22 回答

一般情况下,ETL在同步数据的时候,是一次性把数据加载到内存,然后插入到数据库中,这种效率极低。建议采用ETL导出txt文件,然后将txt上传到阿里云上,然后通过mysql的load命令,将数据插入到数据库里面.

要回复问题请先登录注册