Kettle 在线答疑

Kettle 在线答疑

0
投票
2
回答
1161
浏览

关于kettle pdi 7.0版本的使用

liutangwow 回复了问题 • 2017-04-13 10:41
0
投票
0
回答
727
浏览

kettle 6 连接 MongoDB 问题

qzuser_ozk 发起了问题 • 2017-02-17 11:55
0
投票
2
回答
1101
浏览
0
投票
0
回答
845
浏览
0
投票
2
已解决
4180
浏览
0
投票
2
已解决
6831
浏览
0
投票
1
回答
958
浏览

解析嵌套json出错问题

子建 回复了问题 • 2015-12-02 17:52
0
投票
1
回答
2787
浏览
0
投票
1
已解决
7197
浏览
0
投票
1
已解决
1770
浏览
0
投票
1
已解决
2602
浏览
0
投票
1
回答
1910
浏览

kettle中使用对称加密控件问题

子建 回复了问题 • 2015-08-28 14:50
条新动态, 点击查看
子建

子建 回答了问题 • 2015-08-26 22:49 • 1 个回复 不感兴趣

kettle资源库的区别

赞同来自:

1.文件资源库是以XML的格式保存的文件,数据库资源库,就是所有的都保存在数据库中以字段的形式存放
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮... 显示全部 »
1.文件资源库是以XML的格式保存的文件,数据库资源库,就是所有的都保存在数据库中以字段的形式存放
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮助
子建

子建 回答了问题 • 2015-08-26 22:55 • 1 个回复 不感兴趣

关于kettle 定时调度JOB 问题

赞同来自:

设定的时间,在第一次执行的时候就是会有延后相应时间的。比如你设置的5分钟循环,在第一次执行的时候就会推迟5分钟,执行第一次。路径就是资源库里保存的路径,可以参考kettle视频的第2节课好像,另外可以用shell实现循环调用
设定的时间,在第一次执行的时候就是会有延后相应时间的。比如你设置的5分钟循环,在第一次执行的时候就会推迟5分钟,执行第一次。路径就是资源库里保存的路径,可以参考kettle视频的第2节课好像,另外可以用shell实现循环调用
往数据库里面插入数据最快的方式是采用Load的方式。如果你是从其他的数据源大批量的插入MySQL的数据库,可以采用,在数据库里面建一个与目标数据库一样的临时数据表,该临时表没有主键,没有索引等限制,然后将需要插入的数据利用Kettle导出成文本,然后使用MyS... 显示全部 »
往数据库里面插入数据最快的方式是采用Load的方式。如果你是从其他的数据源大批量的插入MySQL的数据库,可以采用,在数据库里面建一个与目标数据库一样的临时数据表,该临时表没有主键,没有索引等限制,然后将需要插入的数据利用Kettle导出成文本,然后使用MySQL的Load命令,将文本数据插入到临时表,然后采用SELECT INTO的方式插入到目标数据表中。采用这种方式,百万级的数据量十几分钟,甚至几分钟就能插入完成。
升级一下JDK的版本,现在的JDK一般最低都是1.6了。如果还是闪退,可以采用命令行的方式启动,这个时候会有出错信息显示在屏幕上。按照出错信息来排除一下就可以。
升级一下JDK的版本,现在的JDK一般最低都是1.6了。如果还是闪退,可以采用命令行的方式启动,这个时候会有出错信息显示在屏幕上。按照出错信息来排除一下就可以。
最后一张图是你在创建资源库的时候资源库用户的密码,
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
 
最后一张图是你在创建资源库的时候资源库用户的密码,
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
 
虽然你的是 Kettle 的问题,但是这是 ETL 的共性问题,在 SSIS 中会使用这种处理方式,希望对你有借鉴作用。
http://www.cnblogs.com/biwork/p/3950378.html
 
虽然你的是 Kettle 的问题,但是这是 ETL 的共性问题,在 SSIS 中会使用这种处理方式,希望对你有借鉴作用。
http://www.cnblogs.com/biwork/p/3950378.html
 
子建

子建 回答了问题 • 2015-08-27 22:22 • 1 个回复 不感兴趣

Kettle中如何判断两个流里面数据是否一致

赞同来自:

转换组件中,有个合并记录的组件可以用来实现比对数据的功能,通过返回的flag标记判断是否一致
5356
 
转换组件中,有个合并记录的组件可以用来实现比对数据的功能,通过返回的flag标记判断是否一致
5356
 
不是很清楚你的问题。远程的Excel可以通过FTP,FileSync,Web api等等很多种方式下载到本地,然后在本地处理。否则是没有办法远程打开Excel的,而且还涉及到权限问题,操作系统不会允许远程打开操作Excel的。
不是很清楚你的问题。远程的Excel可以通过FTP,FileSync,Web api等等很多种方式下载到本地,然后在本地处理。否则是没有办法远程打开Excel的,而且还涉及到权限问题,操作系统不会允许远程打开操作Excel的。
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互... 显示全部 »
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互的网络带宽请求。
3.部署在性能比较好的服务器。性能好处理速度才会快。
至于提升性能的话,这种也要具体问题具体分析了,比如查询性能,批量插入数据等。理想的状态是,两个数据库的服务器都计算好相关的数据,然后通过kettle来做调度。
根据提示这个问题应该是缺少JAVA环境变量,配置下JDK试试。
根据提示这个问题应该是缺少JAVA环境变量,配置下JDK试试。
1.是要增量抽取还是全量,如果全量直接走数据库dump,然后ftp就可以了,只适用于数据初始化;
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
1.是要增量抽取还是全量,如果全量直接走数据库dump,然后ftp就可以了,只适用于数据初始化;
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
bomb0201

bomb0201 回答了问题 • 2015-08-28 14:25 • 2 个回复 不感兴趣

kettle定时

赞同来自:

如果在kettle的start控件中设置时间周期,那kettle程序会一直处于运行状态
如果在kettle的start控件中设置时间周期,那kettle程序会一直处于运行状态
子建

子建 回答了问题 • 2015-08-28 15:06 • 1 个回复 不感兴趣

ERROR: No repository provided, can't load job.

赞同来自:

根据日志看是没有连上资源库,检查下/rep KETTLE /user admin /pass admin 这块是不是写的有问题
根据日志看是没有连上资源库,检查下/rep KETTLE /user admin /pass admin 这块是不是写的有问题
kettle是Java开发的,多线程
不是有执行存储过程的控件吗?为嘛要写SQL脚本
kettle是Java开发的,多线程
不是有执行存储过程的控件吗?为嘛要写SQL脚本
子建

子建 回答了问题 • 2015-08-28 14:54 • 1 个回复 不感兴趣

kettle如何增量更新数据,有哪几种方式?

赞同来自:

增量更新,正常的都是使用时间戳去增量,主键增量次之,联合主键等
增量更新,正常的都是使用时间戳去增量,主键增量次之,联合主键等
0
投票
2
回答
1161
浏览
0
投票
0
回答
727
浏览

kettle 6 连接 MongoDB 问题

qzuser_ozk 发起了问题 • 2017-02-17 11:55
0
投票
2
回答
1101
浏览
0
投票
0
回答
845
浏览
0
投票
2
已解决
6831
浏览
0
投票
1
回答
958
浏览

解析嵌套json出错问题

子建 回复了问题 • 2015-12-02 17:52
0
投票
1
回答
2787
浏览
0
投票
1
已解决
7197
浏览
0
投票
1
已解决
1770
浏览
0
投票
1
已解决
2602
浏览
0
投票
1
回答
1910
浏览