Kettle疑难杂症

Kettle疑难杂症

0
推荐
2504
浏览

kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天

一、获取当天日期有两种方法:01."获取系统信息"组件-》类型选择系统日期(可变)即可。注:组件的英文名为:SystemInfo02."javascript代码"组件中的new Date()注:组件的英文名为:ScriptValueMod上述两种方法获...

大白菜 发表了文章 • 2018-05-24 10:07

0
推荐
1562
浏览

【原创】kettle5.X 6.X 读入 mongodb数据【3.0+版本有用户密码认证情况下】

正文开始测试平台:win10+64位平台kettle(5.2.0版本)mongo(MongoDB server version: 3.4.1)问题描述:经过测试发现,如果 MongoDB 需要验证的话,kettle6.0以及以下版本是无法使用 “MongoDB input” 组件连接 ...

大白菜 发表了文章 • 2018-05-17 14:21

2
推荐
2255
浏览

解决kettle中mysql的数据是tinyint的kettle查出来后变成boolean问题

问题描述:mysql数据库里面的字段是 tinyint 类型通过Kettle 抓取出来的数据在kettle 上面显示的true、false解决办法:jdbc会把tinyint 认为是java.sql.Types.BIT,然后kettle就会转为Boolean了,悲剧吧在连...

大白菜 发表了文章 • 2018-05-14 17:31

0
投票
0
回答
979
浏览

kettle sqoop mysql数据到hdfs

张会超 发起了问题 • 2016-12-21 09:57
0
投票
2
已解决
3024
浏览
0
投票
2
已解决
1366
浏览
0
投票
1
已解决
773
浏览

Kettle定时执行报错

GeorgeYao 回复了问题 • 2016-08-18 16:43
0
投票
1
回答
896
浏览

kettle 报错 warning

子建 回复了问题 • 2016-01-20 15:46
0
投票
3
已解决
4336
浏览
条新动态, 点击查看
将log日志的时间格式改为了varchar。。OK,问题解决
将log日志的时间格式改为了varchar。。OK,问题解决
不能哦,表结构必须是你事先建立好的
不能哦,表结构必须是你事先建立好的
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互... 显示全部 »
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互的网络带宽请求。
3.部署在性能比较好的服务器。性能好处理速度才会快。
至于提升性能的话,这种也要具体问题具体分析了,比如查询性能,批量插入数据等。理想的状态是,两个数据库的服务器都计算好相关的数据,然后通过kettle来做调度。
根据个人的实际项目经验。在这种方式下不建议使用Kettle来出来。因为Kettle毕竟只是一个工具。简单的请求HTTP数据是可以的,但是像你这么复杂的很多文件的,数据还是Json的,建议你通过程序请求调用的方式来出来,这样比较灵活。比如多线程快速获取文件,是否... 显示全部 »
根据个人的实际项目经验。在这种方式下不建议使用Kettle来出来。因为Kettle毕竟只是一个工具。简单的请求HTTP数据是可以的,但是像你这么复杂的很多文件的,数据还是Json的,建议你通过程序请求调用的方式来出来,这样比较灵活。比如多线程快速获取文件,是否需要断点续传,是否对文件进行校验等等。
以上,纯粹是个人意见,有不同之处,可以随时跟我讨论。
子建

子建 回答了问题 • 2015-09-24 09:37 • 3 个回复 不感兴趣

kettle的job有时报错 !Kitchen.Error.NoRepDefinied!

赞同来自:

报错的提示是获取不到job文件,你这种情况我们有时候也会遇到,资源库配置的库和服务器不在一起,网络延迟都会有影响的,JOB路径,命名都尽量不要用中文的
报错的提示是获取不到job文件,你这种情况我们有时候也会遇到,资源库配置的库和服务器不在一起,网络延迟都会有影响的,JOB路径,命名都尽量不要用中文的
GeorgeYao

GeorgeYao 回答了问题 • 2016-08-18 16:43 • 1 个回复 不感兴趣

Kettle定时执行报错

赞同来自:

ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源 
ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源 
牟瑞

牟瑞 回答了问题 • 2016-08-29 17:42 • 2 个回复 不感兴趣

kettle设置定时执行,偶尔会有重复数据

赞同来自:

某个时间执行两次,是你的定时任务设置的有问题啊,前一个任务没有跑完,后面又起来一个。
改一下脚本,判断是否前一个任务没有执行完,如果是,就不启动当前任务,下一个小时的时候再启动。
重复数据的问题,有多种原因:可能是你的任务执行了两次,两次中有交叉,也可能是业务... 显示全部 »
某个时间执行两次,是你的定时任务设置的有问题啊,前一个任务没有跑完,后面又起来一个。
改一下脚本,判断是否前一个任务没有执行完,如果是,就不启动当前任务,下一个小时的时候再启动。
重复数据的问题,有多种原因:可能是你的任务执行了两次,两次中有交叉,也可能是业务数据本身有重复数据,需要做去重处理。
0
投票
0
回答
979
浏览

kettle sqoop mysql数据到hdfs

张会超 发起了问题 • 2016-12-21 09:57
0
投票
2
已解决
3024
浏览
0
投票
2
已解决
1366
浏览
0
投票
1
已解决
773
浏览

Kettle定时执行报错

GeorgeYao 回复了问题 • 2016-08-18 16:43
0
投票
1
回答
896
浏览

kettle 报错 warning

子建 回复了问题 • 2016-01-20 15:46
0
投票
3
已解决
4336
浏览
0
投票
1
回答
2668
浏览

kettle流里的参数传递

子建 回复了问题 • 2015-08-31 19:23
0
投票
2
回答
2713
浏览
0
推荐
2504
浏览

kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天

一、获取当天日期有两种方法:01."获取系统信息"组件-》类型选择系统日期(可变)即可。注:组件的英文名为:SystemInfo02."javascript代码"组件中的new Date()注:组件的英文名为:ScriptValueMod上述两种方法获...

大白菜 发表了文章 • 2018-05-24 10:07

0
推荐
1562
浏览

【原创】kettle5.X 6.X 读入 mongodb数据【3.0+版本有用户密码认证情况下】

正文开始测试平台:win10+64位平台kettle(5.2.0版本)mongo(MongoDB server version: 3.4.1)问题描述:经过测试发现,如果 MongoDB 需要验证的话,kettle6.0以及以下版本是无法使用 “MongoDB input” 组件连接 ...

大白菜 发表了文章 • 2018-05-17 14:21

2
推荐
2255
浏览

解决kettle中mysql的数据是tinyint的kettle查出来后变成boolean问题

问题描述:mysql数据库里面的字段是 tinyint 类型通过Kettle 抓取出来的数据在kettle 上面显示的true、false解决办法:jdbc会把tinyint 认为是java.sql.Types.BIT,然后kettle就会转为Boolean了,悲剧吧在连...

大白菜 发表了文章 • 2018-05-14 17:31