Kettle
0
推荐
35
浏览
【搞事情】10万级商用etl作业调度工具taskctl免费开源了
工具背景taskctl是一款由成都塔斯克信息技术公司历尽10年研发的etl作业集群调度工具，该产品概念新颖，体系完整、功能全面、使用简单、操作流畅，它不仅有完整的调度核心、灵活的扩展，同时具备完整的应用体系。...
taskctl官方账号 发表了文章 • 5 天前
0
推荐
37
浏览
ETL调度系统及常见工具对比：azkaban、oozie、taskctl
最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用 Kettle ，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像 Kettle 这样开源的工具，已经覆盖了大部分日常工...
taskctl官方账号 发表了文章 • 6 天前
0
投票
3
回答
1720
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
Shine Aurora 回复了问题 • 2020-06-10 09:42
0
投票
2
回答
2049
浏览
Kettle 抽取mysql的date到oracle的date报文字与格式字符串不匹配 需要做什么转换吗？
lono 回复了问题 • 2020-05-26 11:33
0
投票
0
回答
528
浏览
kittle windows 执行计划超时 影响因素有哪些？
Shine Aurora 发起了问题 • 2019-09-27 09:48
0
投票
3
已解决
8229
浏览
大家知道kettle内存一直不释放的原因和解决方法吗
kl243818244 回复了问题 • 2019-09-06 14:45
0
投票
0
回答
762
浏览
使用window计划任务调用kettle包执行越来越慢的问题
Jason0602 发起了问题 • 2019-08-13 16:31
0
推荐
943
浏览
Kettle之旅-carte集群搭建以及远程执行转换和作业
Kettle版本：8.3集群服务器环境：master节点：win10slave节点：CentOS 6.8/CentOS 7.4服务器个数：4一、 carter集群搭建1. 所有服务器安装JDK，我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件：1）集群配...
cimenbi 发表了文章 • 2019-08-08 18:05
0
投票
1
回答
1792
浏览
请问下kettle怎么通过url获取json文件进行解析
JIELEE 回复了问题 • 2019-04-09 08:22
0
投票
1
已解决
1025
浏览
kettle，输出结果增加1列，值来源于SQL函数结果
roveshadow 回复了问题 • 2018-12-04 16:16
0
投票
0
回答
1419
浏览
关于kettle carte日志存储的问题
王小色1991 发起了问题 • 2018-11-26 11:22
0
投票
1
回答
2856
浏览
怎么通过kettle 把查询出来的数据同步到elasticSearch中
王小色1991 回复了问题 • 2018-11-21 09:33
0
投票
2
回答
2084
浏览
请问一下kettle做数据抽取的时候，若某个字段长度不够，使用定义错误处理，不能打出是哪个字段，请问各位老师如何才能定位到具体某个错误的字段？
hmjmifan 回复了问题 • 2018-11-16 15:12
0
投票
1
已解决
1553
浏览
kettle的job指定时间段执行
roveshadow 回复了问题 • 2018-10-25 17:14
0
投票
2
回答
1920
浏览
咨询一下，kettle中，txt文件导入，其中通配符号删除怎么用，我就是想排除文本文件中带info字眼的文件
qwertyuio 回复了问题 • 2018-10-13 10:51
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
子建 回答了问题 • 2015-10-23 13:44 • 2 个回复
请问一下，Kettle如何以SFTP的方式直接访问FTP目录底下的文件呢？？？我想直接读取FTP底下的XML文件，但是出现如图的错误
先拿到本地在读取吧
先拿到本地在读取吧
Bob 回答了问题 • 2015-10-23 13:27 • 3 个回复
请问一下，在Kettle我想将数据用Excel表输出，但是数据多达20万条，超过了excel表单页最大输出行，如何将数据导出到同个Excel的多个sheet中
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
用的什么数据库？跟Kettle没有多大关系。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
用的什么数据库？跟Kettle没有多大关系。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
如果是sqlserver，可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
这个有可能是因为时区的问题导致的
这个有可能是因为时区的问题导致的
A，B表是一个库里的么？一个库里的话用【表输入】+【更新】就能实现，在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段，用更新组件更新字段内容即可。
A，B表是一个库里的么？一个库里的话用【表输入】+【更新】就能实现，在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段，用更新组件更新字段内容即可。
liutangwow 回答了问题 • 2017-07-30 18:26 • 1 个回复
请教个问题啊，在表插入/更新的时候，如果kettle有特殊符号不认的话，怎么办，例如广东省湛江市吴川市塘镇解放路87号，在百度一复制，感觉是个什么符号吧？这个该怎么处理啊？有没有程序可以去掉这个特殊符号，或者可以把详细的错误信息输出？
没遇到过这种异常，这个字不认识，百度了下，㙍，念 duo 一声，正常字符串没问题吧应该；
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
没遇到过这种异常，这个字不认识，百度了下，㙍，念 duo 一声，正常字符串没问题吧应该；
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
而且你执行的话，会有报错信息啊，我这到没有测试，感觉应该没问题，看看报什么错误信息，就是执行窗口会有信息啊；
命令执行的话，也可以记录log的。
huangyux 回答了问题 • 2017-08-14 20:34 • 1 个回复
各位，咨询个东西呢？kettle里面的转换，我在有3台主机的集群上运行后，最后的输出结果却是单主机运行结果的3倍，这个是什么原因呢？有哪位大神知道么，麻烦请教下呢？
KETTLE的集群重点在于中间过程的计算，不再于读取和写入数据，所以读数据的模块不能纳入集群中，写入模块如果是写入有事务处理的数据存储中是可以的，如果是写入文件，可能就不行了。
KETTLE的集群重点在于中间过程的计算，不再于读取和写入数据，所以读数据的模块不能纳入集群中，写入模块如果是写入有事务处理的数据存储中是可以的，如果是写入文件，可能就不行了。
向这样输出日志看看
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
向这样输出日志看看
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
00 06 * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &
roveshadow 回答了问题 • 2018-01-10 10:41 • 1 个回复
各位，请教一下，如何用kettle 将一段sql查询出来的select结果当作一个字段，与其他的sql查询出来的字段 合并，表输出到另外一张新表
SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
关联之后就是一个结果集了，同一个数据库直接用SQL，不同数据库kettle 有数据库连接控件
li052468 回答了问题 • 2018-01-18 17:30 • 1 个回复
请问？ 如果kettle 正在对表做 更新插入的时候，这个时候你去查询这个表的数据，数据会少一些，有些数据 在查询结果里 没有显示？是什么原因呢？
插入或更新还没有提交，就会看不到
插入或更新还没有提交，就会看不到
表结构一样的话直接输出就行；不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数)，关联后输出到新表中。
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表结构一样的话直接输出就行；不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数)，关联后输出到新表中。
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
表输入->数据库连接（低版本kettle可能没有，可用表输入代替）->表输出
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
9
推荐
5066
浏览
kettle5.3版本介质下载及视频学习分享
看到很多人问kettle下载路径，这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37
子建 发表了文章 • 2015-08-11 21:53
0
投票
3
回答
1720
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
Shine Aurora 回复了问题 • 2020-06-10 09:42
0
投票
2
回答
2049
浏览
Kettle 抽取mysql的date到oracle的date报文字与格式字符串不匹配 需要做什么转换吗？
lono 回复了问题 • 2020-05-26 11:33
0
投票
0
回答
528
浏览
kittle windows 执行计划超时 影响因素有哪些？
Shine Aurora 发起了问题 • 2019-09-27 09:48
0
投票
3
已解决
8229
浏览
大家知道kettle内存一直不释放的原因和解决方法吗
kl243818244 回复了问题 • 2019-09-06 14:45
0
投票
0
回答
762
浏览
使用window计划任务调用kettle包执行越来越慢的问题
Jason0602 发起了问题 • 2019-08-13 16:31
0
投票
1
回答
1792
浏览
请问下kettle怎么通过url获取json文件进行解析
JIELEE 回复了问题 • 2019-04-09 08:22
0
投票
1
已解决
1025
浏览
kettle，输出结果增加1列，值来源于SQL函数结果
roveshadow 回复了问题 • 2018-12-04 16:16
0
投票
0
回答
1419
浏览
关于kettle carte日志存储的问题
王小色1991 发起了问题 • 2018-11-26 11:22
0
投票
1
回答
2856
浏览
怎么通过kettle 把查询出来的数据同步到elasticSearch中
王小色1991 回复了问题 • 2018-11-21 09:33
0
投票
2
回答
2084
浏览
请问一下kettle做数据抽取的时候，若某个字段长度不够，使用定义错误处理，不能打出是哪个字段，请问各位老师如何才能定位到具体某个错误的字段？
hmjmifan 回复了问题 • 2018-11-16 15:12
0
投票
1
已解决
1553
浏览
kettle的job指定时间段执行
roveshadow 回复了问题 • 2018-10-25 17:14
0
投票
2
回答
1920
浏览
咨询一下，kettle中，txt文件导入，其中通配符号删除怎么用，我就是想排除文本文件中带info字眼的文件
qwertyuio 回复了问题 • 2018-10-13 10:51
0
投票
2
回答
1790
浏览
kettle命令行调度报：步骤【】初始化不完全有缺陷，是什么原因导致的啊
伯乐快乐 回复了问题 • 2018-09-08 15:07
0
投票
2
已解决
4950
浏览
请问一下，Kettle如何以SFTP的方式直接访问FTP目录底下的文件呢？？？我想直接读取FTP底下的XML文件，但是出现如图的错误
aimr0215 回复了问题 • 2018-06-26 17:37
0
投票
0
回答
1091
浏览
kettle运行日志分文件
luo060534 发起了问题 • 2018-06-05 17:28
0
推荐
35
浏览
【搞事情】10万级商用etl作业调度工具taskctl免费开源了
工具背景taskctl是一款由成都塔斯克信息技术公司历尽10年研发的etl作业集群调度工具，该产品概念新颖，体系完整、功能全面、使用简单、操作流畅，它不仅有完整的调度核心、灵活的扩展，同时具备完整的应用体系。...
taskctl官方账号 发表了文章 • 5 天前
0
推荐
943
浏览
Kettle之旅-carte集群搭建以及远程执行转换和作业
Kettle版本：8.3集群服务器环境：master节点：win10slave节点：CentOS 6.8/CentOS 7.4服务器个数：4一、 carter集群搭建1. 所有服务器安装JDK，我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件：1）集群配...
cimenbi 发表了文章 • 2019-08-08 18:05
2
推荐
1186
浏览
kettle之旅--kettle/pdi从开发到部署完整案例
案例背景公司市场部门现在需要每月1号将财务预算导入到系统，进行数据计算和分析，因为该预算是总体预算，每个月需要根据实际进行微调，所以每次导入需要覆盖原有的数据，财务预算的文档是excel，待导入系统为mys...
cimenbi 发表了文章 • 2018-07-30 01:11
0
推荐
1264
浏览
kettle之旅--安装启动kettle/pdi
安装环境准备kettle是基于java开发的，所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意，kettle的每一个版本的开发是基于不同的jd...
cimenbi 发表了文章 • 2018-07-29 10:56
0
推荐
1765
浏览
kettle之旅--下载获取kettle/pdi
获取kettle，这个文章很多小伙伴都觉得没必要，其实我想说，既然研究这个解决方案，那知其然知其所以然。kettle源码kettle是开源的，所以开源的地址在哪里呢？当然是github: https://github.com/pentaho/pentaho-...
cimenbi 发表了文章 • 2018-07-28 23:59
0
推荐
1170
浏览
kettle之旅--kettle/pdi的发展史简述
简述kettle（Pentaho Data Integratio）是一套开源的ETL解决方案，诞生于2003年（完成第一个版本的开发），由比利时BI工程师Matt Casters（马特.卡斯特）完成，后续被Pentaho公司收购（收购后改名），Matt同时加...
cimenbi 发表了文章 • 2018-07-28 22:50
0
推荐
2795
浏览
kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天
一、获取当天日期有两种方法：01."获取系统信息"组件-》类型选择系统日期（可变）即可。注：组件的英文名为：SystemInfo02."javascript代码"组件中的new Date()注：组件的英文名为：ScriptValueMod上述两种方法获...
大白菜 发表了文章 • 2018-05-24 10:07
1
推荐
1050
浏览
Kettle作业/转换自动化方案——任务计划程序调用
前序：Kettle统一数据库管理配置最初用 Kettle的时候，为了方便不同环境用不同的数据库连接，在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录，通过配置环境变量让Kettle应用。在配置...
cimenbi 发表了文章 • 2018-02-27 16:40
0
推荐
1336
浏览
调度kettle使用taskctl我该怎么部署
最近在QQ群看到有小伙伴在问用taskctl调度kettle，都要安装些什么呢？都支持哪些平台上的kettle调度（windows/Linux）？从论坛搜到两种不同的调度方式那种是对的？如果都是对的，这两钟调度方式都有什么区别，那...
taskctl官方账号 发表了文章 • 2017-11-17 10:42
0
推荐
1074
浏览
5步上手体验kettle快捷调度方式
https://my.oschina.net/u/944575/blog/1557410 kettle调度监控最佳实践https://my.oschina.net/u/1026947/blog/1558620 解决kettle调度效率低，不可高并发调度方法最近taskctl发布了全新的kettle调度...
taskctl官方账号 发表了文章 • 2017-11-13 14:59
2
推荐
2399
浏览
Kettle调度更新！比pan和kitchen效率快N倍，支持高并发！
“我在spoon里面运行一个作业只要几秒种，但是在TASKCTL中运行却要好几十秒？”“并行同时运行几个job，就把内存撑爆了，TASKCTL好占资源呀！”TASKCTL中调用kettle作业，实际上是通过pan和kitchen命令去调用。每一次...
taskctl 发表了文章 • 2017-11-03 14:27
0
推荐
1369
浏览
解决kettle调度效率低，不可高并发调度方法
“我在spoon里面运行一个作业只要几秒种，但是在命令行中运行却要好几十秒？”“并行同时运行几个job，就把内存撑爆了，Kettle好占资源呀！” Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业...
taskctl官方账号 发表了文章 • 2017-10-31 11:39
1
推荐
1781
浏览
kettle调度监控最佳实践
本文转载于： https://my.oschina.net/u/944575/blog/1557410Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。 ...
taskctl官方账号 发表了文章 • 2017-10-30 11:34
0
推荐
1287
浏览
kettle访问hdfs错误汇总-2
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理上篇：https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段：依据是首先要分布均匀，也就是做hash的时候能够每个桶的...
华青莲 发表了文章 • 2017-09-08 15:54
0
推荐
756
浏览
taskctl跨调度服务依赖实现
原文 ： http://www.cnblogs.com/01passerby/p/7483091.html 今天发现了taskctl一个比较强大的功能跨调度服务依赖，在这里分享给大家： &...
taskctl官方账号 发表了文章 • 2017-09-06 10:02
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
