Kettle

Kettle

0
推荐
185
浏览

【开源】企业10万级调度软件 taskctl 6.0 永久免费授权使用

关注公众号 "taskctl" 关键字回复 "领取" 即可获得永久免费授权TASKCTL作为敏捷批量调度的开拓者,产品设计从一开始就专门为整洁的体验而设计,并提供丰富、直观的用户界面,以简化常见的作业调度执行编排流程。T...

taskctl官方账号 发表了文章 • 2020-07-14 15:35

0
推荐
252
浏览

中美两国10万级作业调度工具 "TaskCtl" Vs "Control-M" 如何选用

前言:美方:Control-M ( www.bmc.com)中方:TASKCTL ( www.taskctl.com )ETL调度工具中美PK ( TASKCTL VS Control-M)Control-M图片源自网络TaskCtl图片源自网络而国内,在众多的软件中选择TASKCTL,我似乎没有任...

taskctl官方账号 发表了文章 • 2020-07-09 09:54

0
推荐
240
浏览

etl作业调度工具必备的10个功能属性

概述taskctl是一款国内开源的ETL工具,纯C编写,可以在Window、Linux、Unix上运行。说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握taskctl的使用。今天主要先描述ETL工具的通用功能。...

taskctl官方账号 发表了文章 • 2020-07-07 13:45

0
推荐
272
浏览

数据调度平台etl系统二大种类及其实现方法与流程

什么是调度系统调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workflow Scheduler)是任何一个稍微有点规模,不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab...

taskctl官方账号 发表了文章 • 2020-07-06 15:30

0
推荐
335
浏览

【搞事情】10万级商用etl作业调度工具taskctl免费开源了

工具背景taskctl是一款由成都塔斯克信息技术公司历尽10年研发的etl作业集群调度工具,该产品概念新颖,体系完整、功能全面、使用简单、操作流畅,它不仅有完整的调度核心、灵活的扩展,同时具备完整的应用体系。...

taskctl官方账号 发表了文章 • 2020-06-29 11:33

0
推荐
357
浏览

ETL调度系统及常见工具对比:azkaban、oozie、taskctl

最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨:同样都在用 Kettle ,起点明明没差异,但为什么别人ETL做的那么快那么好,自己却不断掉坑?其实,类似于像 Kettle 这样开源的工具,已经覆盖了大部分日常工...

taskctl官方账号 发表了文章 • 2020-06-28 15:41

0
投票
0
回答
656
浏览
0
投票
3
已解决
8607
浏览
0
投票
0
回答
885
浏览
0
推荐
1155
浏览

Kettle之旅-carte集群搭建以及远程执行转换和作业

Kettle版本:8.3集群服务器环境:master节点:win10slave节点:CentOS 6.8/CentOS 7.4服务器个数:4一、 carter集群搭建1. 所有服务器安装JDK,我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件:1)集群配...

cimenbi 发表了文章 • 2019-08-08 18:05

0
投票
1
回答
2002
浏览

请问下kettle怎么通过url获取json文件进行解析

JIELEE 回复了问题 • 2019-04-09 08:22
0
投票
1
已解决
1089
浏览
条新动态, 点击查看
数据量很大,机器内存配置,本来kettle就是Java开发的,Java虚拟机的机制运行的,一个转换运行完了,不会立即释放内存,自己手动关闭进程,加大启动内存,视频中有说过这个的啊
数据量很大,机器内存配置,本来kettle就是Java开发的,Java虚拟机的机制运行的,一个转换运行完了,不会立即释放内存,自己手动关闭进程,加大启动内存,视频中有说过这个的啊
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
牟瑞

牟瑞 回答了问题 • 2016-02-16 10:47 • 2 个回复 不感兴趣

kettle 如何双表同步更新 保存版本

赞同来自:

用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
这个有可能是因为时区的问题导致的
这个有可能是因为时区的问题导致的
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
roveshadow

roveshadow 回答了问题 • 2018-10-25 17:14 • 1 个回复 不感兴趣

kettle的job指定时间段执行

赞同来自:

JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
select newid() as ID ,姓名、数量 from A表  -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值  
也可以用 replace(newid(), '-', '') 将‘-’去掉
select newid() as ID ,姓名、数量 from A表  -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值  
也可以用 replace(newid(), '-', '') 将‘-’去掉
9
推荐
5121
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
投票
0
回答
656
浏览
0
投票
3
已解决
8607
浏览
0
投票
0
回答
885
浏览
0
投票
1
回答
2002
浏览
0
投票
1
已解决
1089
浏览
0
投票
0
回答
1543
浏览

关于kettle carte日志存储的问题

王小色1991 发起了问题 • 2018-11-26 11:22
0
投票
1
回答
3159
浏览
0
投票
1
已解决
1714
浏览

kettle的job指定时间段执行

roveshadow 回复了问题 • 2018-10-25 17:14
0
推荐
252
浏览

中美两国10万级作业调度工具 "TaskCtl" Vs "Control-M" 如何选用

前言:美方:Control-M ( www.bmc.com)中方:TASKCTL ( www.taskctl.com )ETL调度工具中美PK ( TASKCTL VS Control-M)Control-M图片源自网络TaskCtl图片源自网络而国内,在众多的软件中选择TASKCTL,我似乎没有任...

taskctl官方账号 发表了文章 • 2020-07-09 09:54

0
推荐
272
浏览

数据调度平台etl系统二大种类及其实现方法与流程

什么是调度系统调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workflow Scheduler)是任何一个稍微有点规模,不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab...

taskctl官方账号 发表了文章 • 2020-07-06 15:30

0
推荐
335
浏览

【搞事情】10万级商用etl作业调度工具taskctl免费开源了

工具背景taskctl是一款由成都塔斯克信息技术公司历尽10年研发的etl作业集群调度工具,该产品概念新颖,体系完整、功能全面、使用简单、操作流畅,它不仅有完整的调度核心、灵活的扩展,同时具备完整的应用体系。...

taskctl官方账号 发表了文章 • 2020-06-29 11:33

0
推荐
1155
浏览

Kettle之旅-carte集群搭建以及远程执行转换和作业

Kettle版本:8.3集群服务器环境:master节点:win10slave节点:CentOS 6.8/CentOS 7.4服务器个数:4一、 carter集群搭建1. 所有服务器安装JDK,我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件:1)集群配...

cimenbi 发表了文章 • 2019-08-08 18:05

2
推荐
1272
浏览

kettle之旅--kettle/pdi从开发到部署完整案例

案例背景公司市场部门现在需要每月1号将财务预算导入到系统,进行数据计算和分析,因为该预算是总体预算,每个月需要根据实际进行微调,所以每次导入需要覆盖原有的数据,财务预算的文档是excel,待导入系统为mys...

cimenbi 发表了文章 • 2018-07-30 01:11

0
推荐
1375
浏览

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意,kettle的每一个版本的开发是基于不同的jd...

cimenbi 发表了文章 • 2018-07-29 10:56

0
推荐
1943
浏览

kettle之旅--下载获取kettle/pdi

获取kettle,这个文章很多小伙伴都觉得没必要,其实我想说,既然研究这个解决方案,那知其然知其所以然。kettle源码kettle是开源的,所以开源的地址在哪里呢?当然是github: https://github.com/pentaho/pentaho-...

cimenbi 发表了文章 • 2018-07-28 23:59

0
推荐
1270
浏览

kettle之旅--kettle/pdi的发展史简述

简述kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成,后续被Pentaho公司收购(收购后改名),Matt同时加...

cimenbi 发表了文章 • 2018-07-28 22:50

0
推荐
3115
浏览

kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天

一、获取当天日期有两种方法:01."获取系统信息"组件-》类型选择系统日期(可变)即可。注:组件的英文名为:SystemInfo02."javascript代码"组件中的new Date()注:组件的英文名为:ScriptValueMod上述两种方法获...

大白菜 发表了文章 • 2018-05-24 10:07

1
推荐
1188
浏览

Kettle作业/转换自动化方案——任务计划程序调用

前序:Kettle统一数据库管理配置最初用 Kettle的时候,为了方便不同环境用不同的数据库连接,在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录,通过配置环境变量让Kettle应用。在配置...

cimenbi 发表了文章 • 2018-02-27 16:40

0
推荐
1391
浏览

调度kettle使用taskctl我该怎么部署

最近在QQ群看到有小伙伴在问用taskctl调度kettle,都要安装些什么呢?都支持哪些平台上的kettle调度(windows/Linux)?从论坛搜到两种不同的调度方式那种是对的?如果都是对的,这两钟调度方式都有什么区别,那...

taskctl官方账号 发表了文章 • 2017-11-17 10:42

0
推荐
1134
浏览

5步上手体验kettle快捷调度方式

https://my.oschina.net/u/944575/blog/1557410 kettle调度监控最佳实践https://my.oschina.net/u/1026947/blog/1558620 解决kettle调度效率低,不可高并发调度方法最近taskctl发布了全新的kettle调度...

taskctl官方账号 发表了文章 • 2017-11-13 14:59

2
推荐
2546
浏览

Kettle调度更新!比pan和kitchen效率快N倍,支持高并发!

“我在spoon里面运行一个作业只要几秒种,但是在TASKCTL中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,TASKCTL好占资源呀!”TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次...

taskctl 发表了文章 • 2017-11-03 14:27

0
推荐
1463
浏览

解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业...

taskctl官方账号 发表了文章 • 2017-10-31 11:39

1
推荐
1848
浏览

kettle调度监控最佳实践

本文转载于: https://my.oschina.net/u/944575/blog/1557410Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。    ...

taskctl官方账号 发表了文章 • 2017-10-30 11:34

      Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。