kettle设置定时执行,偶尔会有重复数据

0
设置的每小时定时执行一次,可有时候会在某个时间执行两次,产生重复数据。生成的日志如下

QQ截图20160822132410.jpg

 
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-08-29 回答

某个时间执行两次,是你的定时任务设置的有问题啊,前一个任务没有跑完,后面又起来一个。
改一下脚本,判断是否前一个任务没有执行完,如果是,就不启动当前任务,下一个小时的时候再启动。
重复数据的问题,有多种原因:可能是你的任务执行了两次,两次中有交叉,也可能是业务数据本身有重复数据,需要做去重处理。
0

BI_H_Y_Chang 2016-09-06 回答

windows下任务计划中
创建任务 “设置”“如果此任务已经执行,以下规则适用(N):”
请参考

要回复问题请先登录注册