Kettle 在线答疑
0
投票
1
回答
2566
浏览
0
投票
0
回答
1862
浏览
kettle运行日志分文件
luo060534 发起了问题 • 2018-06-05 17:28
0
投票
0
回答
1590
浏览
kettle 每天早上6点定时执行job ,到第二天6点不会自动的执行job 怎么回事? 求大神解答
zhh 发起了问题 • 2017-06-28 16:08
0
投票
2
回答
2090
浏览
关于kettle pdi 7.0版本的使用
liutangwow 回复了问题 • 2017-04-13 10:41
0
投票
0
回答
1369
浏览
kettle 6 连接 MongoDB 问题
qzuser_ozk 发起了问题 • 2017-02-17 11:55
0
投票
2
回答
2423
浏览
如何提高kettle进行多个联合主键插入更新的效率
li052468 回复了问题 • 2016-12-09 14:05
0
投票
0
回答
1951
浏览
Kettle如何获取http请求的session
qinger 发起了问题 • 2016-06-28 15:29
0
投票
2
已解决
6516
浏览
运行kettle时,报错 cloud not create the java virtual machine 这个问题怎么解决?
mengna 回复了问题 • 2016-03-10 14:29
0
投票
2
已解决
8554
浏览
kettle连接资源库总出现“kettle无法识别这个用户”怎么解决?
Shaine 回复了问题 • 2015-12-27 15:47
0
投票
1
回答
1573
浏览
解析嵌套json出错问题
子建 回复了问题 • 2015-12-02 17:52
0
投票
1
回答
3649
浏览
将kettle作业中的ftp上传移动到转换中
牟瑞 回复了问题 • 2015-08-29 14:40
0
投票
1
已解决
10234
浏览
ERROR: No repository provided, can't load job.
子建 回复了问题 • 2015-08-28 15:06
0
投票
1
已解决
2647
浏览
为什么kettle里面transform 里的组件不是按流程执行呢
子建 回复了问题 • 2015-08-28 15:00
0
投票
1
已解决
4244
浏览
kettle如何增量更新数据,有哪几种方式?
子建 回复了问题 • 2015-08-28 14:54
0
投票
1
回答
3262
浏览
kettle中使用对称加密控件问题
子建 回复了问题 • 2015-08-28 14:50
1.文件资源库是以XML的格式保存的文件,数据库资源库,就是所有的都保存在数据库中以字段的形式存放
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮... 显示全部 »
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮... 显示全部 »
1.文件资源库是以XML的格式保存的文件,数据库资源库,就是所有的都保存在数据库中以字段的形式存放
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮助
2.如果没有使用资源库,就直接把做好的ktr或者kjb文件给别人,使用资源库了就直接链接到相同的资源库就可以。
3.效率这块在基础视频的最后一节有提到,希望有帮助
设定的时间,在第一次执行的时候就是会有延后相应时间的。比如你设置的5分钟循环,在第一次执行的时候就会推迟5分钟,执行第一次。路径就是资源库里保存的路径,可以参考kettle视频的第2节课好像,另外可以用shell实现循环调用
设定的时间,在第一次执行的时候就是会有延后相应时间的。比如你设置的5分钟循环,在第一次执行的时候就会推迟5分钟,执行第一次。路径就是资源库里保存的路径,可以参考kettle视频的第2节课好像,另外可以用shell实现循环调用
往数据库里面插入数据最快的方式是采用Load的方式。如果你是从其他的数据源大批量的插入MySQL的数据库,可以采用,在数据库里面建一个与目标数据库一样的临时数据表,该临时表没有主键,没有索引等限制,然后将需要插入的数据利用Kettle导出成文本,然后使用MyS... 显示全部 »
往数据库里面插入数据最快的方式是采用Load的方式。如果你是从其他的数据源大批量的插入MySQL的数据库,可以采用,在数据库里面建一个与目标数据库一样的临时数据表,该临时表没有主键,没有索引等限制,然后将需要插入的数据利用Kettle导出成文本,然后使用MySQL的Load命令,将文本数据插入到临时表,然后采用SELECT INTO的方式插入到目标数据表中。采用这种方式,百万级的数据量十几分钟,甚至几分钟就能插入完成。
升级一下JDK的版本,现在的JDK一般最低都是1.6了。如果还是闪退,可以采用命令行的方式启动,这个时候会有出错信息显示在屏幕上。按照出错信息来排除一下就可以。
升级一下JDK的版本,现在的JDK一般最低都是1.6了。如果还是闪退,可以采用命令行的方式启动,这个时候会有出错信息显示在屏幕上。按照出错信息来排除一下就可以。
最后一张图是你在创建资源库的时候资源库用户的密码,
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
最后一张图是你在创建资源库的时候资源库用户的密码,
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
倒数第二张图是资源库的用户名,密码,
倒数第三张是你数据库资源库,链接的数据库用户和密码
虽然你的是 Kettle 的问题,但是这是 ETL 的共性问题,在 SSIS 中会使用这种处理方式,希望对你有借鉴作用。
http://www.cnblogs.com/biwork/p/3950378.html
http://www.cnblogs.com/biwork/p/3950378.html
虽然你的是 Kettle 的问题,但是这是 ETL 的共性问题,在 SSIS 中会使用这种处理方式,希望对你有借鉴作用。
http://www.cnblogs.com/biwork/p/3950378.html
http://www.cnblogs.com/biwork/p/3950378.html
转换组件中,有个合并记录的组件可以用来实现比对数据的功能,通过返回的flag标记判断是否一致
5356
5356
转换组件中,有个合并记录的组件可以用来实现比对数据的功能,通过返回的flag标记判断是否一致
5356
5356
不是很清楚你的问题。远程的Excel可以通过FTP,FileSync,Web api等等很多种方式下载到本地,然后在本地处理。否则是没有办法远程打开Excel的,而且还涉及到权限问题,操作系统不会允许远程打开操作Excel的。
不是很清楚你的问题。远程的Excel可以通过FTP,FileSync,Web api等等很多种方式下载到本地,然后在本地处理。否则是没有办法远程打开Excel的,而且还涉及到权限问题,操作系统不会允许远程打开操作Excel的。
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互... 显示全部 »
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互... 显示全部 »
部署在什么地方,这个需要考虑很多的因素:比如网络。带宽,服务器性能等。提供思路,仅供参考:
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互的网络带宽请求。
3.部署在性能比较好的服务器。性能好处理速度才会快。
至于提升性能的话,这种也要具体问题具体分析了,比如查询性能,批量插入数据等。理想的状态是,两个数据库的服务器都计算好相关的数据,然后通过kettle来做调度。
1.部署在带宽比较大的地方,如果Kettle需要通过网络连接处理数据,那么网络带宽大的话,数据传输就会快。
2.部署在与数据库频繁交互的服务器,这样可以减少与数据库交互的网络带宽请求。
3.部署在性能比较好的服务器。性能好处理速度才会快。
至于提升性能的话,这种也要具体问题具体分析了,比如查询性能,批量插入数据等。理想的状态是,两个数据库的服务器都计算好相关的数据,然后通过kettle来做调度。
zengshaohais 回答了问题 • 2015-08-28 10:14 • 2 个回复
运行kettle时,报错 cloud not create the java virtual machine 这个问题怎么解决?
根据提示这个问题应该是缺少JAVA环境变量,配置下JDK试试。
根据提示这个问题应该是缺少JAVA环境变量,配置下JDK试试。
1.是要增量抽取还是全量,如果全量直接走数据库dump,然后ftp就可以了,只适用于数据初始化;
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
1.是要增量抽取还是全量,如果全量直接走数据库dump,然后ftp就可以了,只适用于数据初始化;
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
2.缓存设置,如Rowset,是两个步骤之间的缓存,可以调大数量;
3.表输出控件的提交数量加大。
如果在kettle的start控件中设置时间周期,那kettle程序会一直处于运行状态
如果在kettle的start控件中设置时间周期,那kettle程序会一直处于运行状态
根据日志看是没有连上资源库,检查下/rep KETTLE /user admin /pass admin 这块是不是写的有问题
根据日志看是没有连上资源库,检查下/rep KETTLE /user admin /pass admin 这块是不是写的有问题
kettle是Java开发的,多线程
不是有执行存储过程的控件吗?为嘛要写SQL脚本
不是有执行存储过程的控件吗?为嘛要写SQL脚本
kettle是Java开发的,多线程
不是有执行存储过程的控件吗?为嘛要写SQL脚本
不是有执行存储过程的控件吗?为嘛要写SQL脚本
增量更新,正常的都是使用时间戳去增量,主键增量次之,联合主键等
增量更新,正常的都是使用时间戳去增量,主键增量次之,联合主键等
0
投票
1
回答
2566
浏览
0
投票
0
回答
1862
浏览
kettle运行日志分文件
luo060534 发起了问题 • 2018-06-05 17:28
0
投票
0
回答
1590
浏览
kettle 每天早上6点定时执行job ,到第二天6点不会自动的执行job 怎么回事? 求大神解答
zhh 发起了问题 • 2017-06-28 16:08
0
投票
2
回答
2090
浏览
关于kettle pdi 7.0版本的使用
liutangwow 回复了问题 • 2017-04-13 10:41
0
投票
0
回答
1369
浏览
kettle 6 连接 MongoDB 问题
qzuser_ozk 发起了问题 • 2017-02-17 11:55
0
投票
2
回答
2423
浏览
如何提高kettle进行多个联合主键插入更新的效率
li052468 回复了问题 • 2016-12-09 14:05
0
投票
0
回答
1951
浏览
Kettle如何获取http请求的session
qinger 发起了问题 • 2016-06-28 15:29
0
投票
2
已解决
6516
浏览
运行kettle时,报错 cloud not create the java virtual machine 这个问题怎么解决?
mengna 回复了问题 • 2016-03-10 14:29
0
投票
2
已解决
8554
浏览
kettle连接资源库总出现“kettle无法识别这个用户”怎么解决?
Shaine 回复了问题 • 2015-12-27 15:47
0
投票
1
回答
1573
浏览
解析嵌套json出错问题
子建 回复了问题 • 2015-12-02 17:52
0
投票
1
回答
3649
浏览
将kettle作业中的ftp上传移动到转换中
牟瑞 回复了问题 • 2015-08-29 14:40
0
投票
1
已解决
10234
浏览
ERROR: No repository provided, can't load job.
子建 回复了问题 • 2015-08-28 15:06
0
投票
1
已解决
2647
浏览
为什么kettle里面transform 里的组件不是按流程执行呢
子建 回复了问题 • 2015-08-28 15:00
0
投票
1
已解决
4244
浏览
kettle如何增量更新数据,有哪几种方式?
子建 回复了问题 • 2015-08-28 14:54
0
投票
1
回答
3262
浏览
kettle中使用对称加密控件问题
子建 回复了问题 • 2015-08-28 14:50