Kettle
0
投票
0
回答
60
浏览
使用window计划任务调用kettle包执行越来越慢的问题
Jason0602 发起了问题 • 2019-08-13 16:31
0
推荐
65
浏览
Kettle之旅-carte集群搭建以及远程执行转换和作业
Kettle版本：8.3集群服务器环境：master节点：win10slave节点：CentOS 6.8/CentOS 7.4服务器个数：4一、 carter集群搭建1. 所有服务器安装JDK，我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件：1）集群配...
cimenbi 发表了文章 • 2019-08-08 18:05
0
投票
2
已解决
6168
浏览
大家知道kettle内存一直不释放的原因和解决方法吗
严先生 回复了问题 • 2019-06-28 00:18
0
投票
1
回答
712
浏览
请问下kettle怎么通过url获取json文件进行解析
JIELEE 回复了问题 • 2019-04-09 08:22
0
投票
1
已解决
573
浏览
kettle，输出结果增加1列，值来源于SQL函数结果
roveshadow 回复了问题 • 2018-12-04 16:16
0
投票
0
回答
793
浏览
关于kettle carte日志存储的问题
王小色1991 发起了问题 • 2018-11-26 11:22
0
投票
1
回答
1543
浏览
怎么通过kettle 把查询出来的数据同步到elasticSearch中
王小色1991 回复了问题 • 2018-11-21 09:33
0
投票
2
回答
1073
浏览
请问一下kettle做数据抽取的时候，若某个字段长度不够，使用定义错误处理，不能打出是哪个字段，请问各位老师如何才能定位到具体某个错误的字段？
hmjmifan 回复了问题 • 2018-11-16 15:12
0
投票
1
已解决
736
浏览
kettle的job指定时间段执行
roveshadow 回复了问题 • 2018-10-25 17:14
0
投票
2
回答
1158
浏览
咨询一下，kettle中，txt文件导入，其中通配符号删除怎么用，我就是想排除文本文件中带info字眼的文件
qwertyuio 回复了问题 • 2018-10-13 10:51
0
投票
2
回答
1257
浏览
kettle命令行调度报：步骤【】初始化不完全有缺陷，是什么原因导致的啊
伯乐快乐 回复了问题 • 2018-09-08 15:07
0
投票
2
回答
1009
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
伯乐快乐 回复了问题 • 2018-09-08 15:05
2
推荐
706
浏览
kettle之旅--kettle/pdi从开发到部署完整案例
案例背景公司市场部门现在需要每月1号将财务预算导入到系统，进行数据计算和分析，因为该预算是总体预算，每个月需要根据实际进行微调，所以每次导入需要覆盖原有的数据，财务预算的文档是excel，待导入系统为mys...
cimenbi 发表了文章 • 2018-07-30 01:11
0
推荐
774
浏览
kettle之旅--安装启动kettle/pdi
安装环境准备kettle是基于java开发的，所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意，kettle的每一个版本的开发是基于不同的jd...
cimenbi 发表了文章 • 2018-07-29 10:56
0
推荐
935
浏览
kettle之旅--下载获取kettle/pdi
获取kettle，这个文章很多小伙伴都觉得没必要，其实我想说，既然研究这个解决方案，那知其然知其所以然。kettle源码kettle是开源的，所以开源的地址在哪里呢？当然是github: https://github.com/pentaho/pentaho-...
cimenbi 发表了文章 • 2018-07-28 23:59
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
子建 回答了问题 • 2015-10-23 13:44 • 2 个回复
请问一下，Kettle如何以SFTP的方式直接访问FTP目录底下的文件呢？？？我想直接读取FTP底下的XML文件，但是出现如图的错误
先拿到本地在读取吧
先拿到本地在读取吧
Bob 回答了问题 • 2015-10-23 13:27 • 3 个回复
请问一下，在Kettle我想将数据用Excel表输出，但是数据多达20万条，超过了excel表单页最大输出行，如何将数据导出到同个Excel的多个sheet中
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
用的什么数据库？跟Kettle没有多大关系。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
用的什么数据库？跟Kettle没有多大关系。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
这个有可能是因为时区的问题导致的
这个有可能是因为时区的问题导致的
A，B表是一个库里的么？一个库里的话用【表输入】+【更新】就能实现，在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段，用更新组件更新字段内容即可。
A，B表是一个库里的么？一个库里的话用【表输入】+【更新】就能实现，在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段，用更新组件更新字段内容即可。
liutangwow 回答了问题 • 2017-07-30 18:26 • 1 个回复
请教个问题啊，在表插入/更新的时候，如果kettle有特殊符号不认的话，怎么办，例如广东省湛江市吴川市塘镇解放路87号，在百度一复制，感觉是个什么符号吧？这个该怎么处理啊？有没有程序可以去掉这个特殊符号，或者可以把详细的错误信息输出？
没遇到过这种异常，这个字不认识，百度了下，㙍，念 duo 一声，正常字符串没问题吧应该；
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
没遇到过这种异常，这个字不认识，百度了下，㙍，念 duo 一声，正常字符串没问题吧应该；
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
huangyux 回答了问题 • 2017-08-14 20:34 • 1 个回复
各位，咨询个东西呢？kettle里面的转换，我在有3台主机的集群上运行后，最后的输出结果却是单主机运行结果的3倍，这个是什么原因呢？有哪位大神知道么，麻烦请教下呢？
KETTLE的集群重点在于中间过程的计算，不再于读取和写入数据，所以读数据的模块不能纳入集群中，写入模块如果是写入有事务处理的数据存储中是可以的，如果是写入文件，可能就不行了。
KETTLE的集群重点在于中间过程的计算，不再于读取和写入数据，所以读数据的模块不能纳入集群中，写入模块如果是写入有事务处理的数据存储中是可以的，如果是写入文件，可能就不行了。
向这样输出日志看看
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
向这样输出日志看看
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
roveshadow 回答了问题 • 2018-01-10 10:41 • 1 个回复
各位，请教一下，如何用kettle 将一段sql查询出来的select结果当作一个字段，与其他的sql查询出来的字段 合并，表输出到另外一张新表
SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
li052468 回答了问题 • 2018-01-18 17:30 • 1 个回复
请问？ 如果kettle 正在对表做 更新插入的时候，这个时候你去查询这个表的数据，数据会少一些，有些数据 在查询结果里 没有显示？是什么原因呢？
插入或更新还没有提交，就会看不到
插入或更新还没有提交，就会看不到
表结构一样的话直接输出就行；不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数)，关联后输出到新表中。
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表结构一样的话直接输出就行；不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数)，关联后输出到新表中。
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
9
推荐
4576
浏览
kettle5.3版本介质下载及视频学习分享
看到很多人问kettle下载路径，这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37
子建 发表了文章 • 2015-08-11 21:53
0
投票
0
回答
60
浏览
使用window计划任务调用kettle包执行越来越慢的问题
Jason0602 发起了问题 • 2019-08-13 16:31
0
投票
2
已解决
6168
浏览
大家知道kettle内存一直不释放的原因和解决方法吗
严先生 回复了问题 • 2019-06-28 00:18
0
投票
1
回答
712
浏览
请问下kettle怎么通过url获取json文件进行解析
JIELEE 回复了问题 • 2019-04-09 08:22
0
投票
1
已解决
573
浏览
kettle，输出结果增加1列，值来源于SQL函数结果
roveshadow 回复了问题 • 2018-12-04 16:16
0
投票
0
回答
793
浏览
关于kettle carte日志存储的问题
王小色1991 发起了问题 • 2018-11-26 11:22
0
投票
1
回答
1543
浏览
怎么通过kettle 把查询出来的数据同步到elasticSearch中
王小色1991 回复了问题 • 2018-11-21 09:33
0
投票
2
回答
1073
浏览
请问一下kettle做数据抽取的时候，若某个字段长度不够，使用定义错误处理，不能打出是哪个字段，请问各位老师如何才能定位到具体某个错误的字段？
hmjmifan 回复了问题 • 2018-11-16 15:12
0
投票
1
已解决
736
浏览
kettle的job指定时间段执行
roveshadow 回复了问题 • 2018-10-25 17:14
0
投票
2
回答
1158
浏览
咨询一下，kettle中，txt文件导入，其中通配符号删除怎么用，我就是想排除文本文件中带info字眼的文件
qwertyuio 回复了问题 • 2018-10-13 10:51
0
投票
2
回答
1257
浏览
kettle命令行调度报：步骤【】初始化不完全有缺陷，是什么原因导致的啊
伯乐快乐 回复了问题 • 2018-09-08 15:07
0
投票
2
回答
1009
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
伯乐快乐 回复了问题 • 2018-09-08 15:05
0
投票
2
已解决
3874
浏览
请问一下，Kettle如何以SFTP的方式直接访问FTP目录底下的文件呢？？？我想直接读取FTP底下的XML文件，但是出现如图的错误
aimr0215 回复了问题 • 2018-06-26 17:37
0
投票
0
回答
667
浏览
kettle运行日志分文件
luo060534 发起了问题 • 2018-06-05 17:28
0
投票
0
回答
659
浏览
kettle里使用DB存储过程组件获取多条记录集的问题
海国图志 发起了问题 • 2018-06-01 18:20
0
投票
2
已解决
3468
浏览
请问一下,kettle如何抽取oracle的BLOB字段数据？
大白菜 回复了问题 • 2018-05-23 18:14
0
推荐
65
浏览
Kettle之旅-carte集群搭建以及远程执行转换和作业
Kettle版本：8.3集群服务器环境：master节点：win10slave节点：CentOS 6.8/CentOS 7.4服务器个数：4一、 carter集群搭建1. 所有服务器安装JDK，我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件：1）集群配...
cimenbi 发表了文章 • 2019-08-08 18:05
2
推荐
706
浏览
kettle之旅--kettle/pdi从开发到部署完整案例
案例背景公司市场部门现在需要每月1号将财务预算导入到系统，进行数据计算和分析，因为该预算是总体预算，每个月需要根据实际进行微调，所以每次导入需要覆盖原有的数据，财务预算的文档是excel，待导入系统为mys...
cimenbi 发表了文章 • 2018-07-30 01:11
0
推荐
774
浏览
kettle之旅--安装启动kettle/pdi
安装环境准备kettle是基于java开发的，所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意，kettle的每一个版本的开发是基于不同的jd...
cimenbi 发表了文章 • 2018-07-29 10:56
0
推荐
935
浏览
kettle之旅--下载获取kettle/pdi
获取kettle，这个文章很多小伙伴都觉得没必要，其实我想说，既然研究这个解决方案，那知其然知其所以然。kettle源码kettle是开源的，所以开源的地址在哪里呢？当然是github: https://github.com/pentaho/pentaho-...
cimenbi 发表了文章 • 2018-07-28 23:59
0
推荐
652
浏览
kettle之旅--kettle/pdi的发展史简述
简述kettle（Pentaho Data Integratio）是一套开源的ETL解决方案，诞生于2003年（完成第一个版本的开发），由比利时BI工程师Matt Casters（马特.卡斯特）完成，后续被Pentaho公司收购（收购后改名），Matt同时加...
cimenbi 发表了文章 • 2018-07-28 22:50
0
推荐
1210
浏览
kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天
一、获取当天日期有两种方法：01."获取系统信息"组件-》类型选择系统日期（可变）即可。注：组件的英文名为：SystemInfo02."javascript代码"组件中的new Date()注：组件的英文名为：ScriptValueMod上述两种方法获...
大白菜 发表了文章 • 2018-05-24 10:07
1
推荐
674
浏览
Kettle作业/转换自动化方案——任务计划程序调用
前序：Kettle统一数据库管理配置最初用 Kettle的时候，为了方便不同环境用不同的数据库连接，在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录，通过配置环境变量让Kettle应用。在配置...
cimenbi 发表了文章 • 2018-02-27 16:40
0
推荐
893
浏览
调度kettle使用taskctl我该怎么部署
最近在QQ群看到有小伙伴在问用taskctl调度kettle，都要安装些什么呢？都支持哪些平台上的kettle调度（windows/Linux）？从论坛搜到两种不同的调度方式那种是对的？如果都是对的，这两钟调度方式都有什么区别，那...
田净植 发表了文章 • 2017-11-17 10:42
0
推荐
728
浏览
5步上手体验kettle快捷调度方式
https://my.oschina.net/u/944575/blog/1557410 kettle调度监控最佳实践https://my.oschina.net/u/1026947/blog/1558620 解决kettle调度效率低，不可高并发调度方法最近taskctl发布了全新的kettle调度...
田净植 发表了文章 • 2017-11-13 14:59
2
推荐
1578
浏览
Kettle调度更新！比pan和kitchen效率快N倍，支持高并发！
“我在spoon里面运行一个作业只要几秒种，但是在TASKCTL中运行却要好几十秒？”“并行同时运行几个job，就把内存撑爆了，TASKCTL好占资源呀！”TASKCTL中调用kettle作业，实际上是通过pan和kitchen命令去调用。每一次...
taskctl 发表了文章 • 2017-11-03 14:27
0
推荐
938
浏览
解决kettle调度效率低，不可高并发调度方法
“我在spoon里面运行一个作业只要几秒种，但是在命令行中运行却要好几十秒？”“并行同时运行几个job，就把内存撑爆了，Kettle好占资源呀！” Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业...
田净植 发表了文章 • 2017-10-31 11:39
1
推荐
1270
浏览
kettle调度监控最佳实践
本文转载于： https://my.oschina.net/u/944575/blog/1557410Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。 ...
田净植 发表了文章 • 2017-10-30 11:34
0
推荐
872
浏览
kettle访问hdfs错误汇总-2
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理上篇：https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段：依据是首先要分布均匀，也就是做hash的时候能够每个桶的...
华青莲 发表了文章 • 2017-09-08 15:54
0
推荐
513
浏览
taskctl跨调度服务依赖实现
原文 ： http://www.cnblogs.com/01passerby/p/7483091.html 今天发现了taskctl一个比较强大的功能跨调度服务依赖，在这里分享给大家： &...
田净植 发表了文章 • 2017-09-06 10:02
1
推荐
631
浏览
为什么做作业批量调度的很多人都使用TASKCTL（转载）
(1)和其他类似作业调度工具相比，TASKCTL相对简洁，能兼容和适应各种作业类型的调度。(2)作业的设计本身源于业务系统，多数人只是想找一个能把自己的或者别人写的作业统一调度串联起来就行，而有些调度工具体系做...
田净植 发表了文章 • 2017-09-05 10:40
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
