Kettle

Kettle

0
投票
2
回答
753
浏览
0
投票
0
回答
264
浏览
2
推荐
252
浏览

kettle之旅--kettle/pdi从开发到部署完整案例

案例背景公司市场部门现在需要每月1号将财务预算导入到系统,进行数据计算和分析,因为该预算是总体预算,每个月需要根据实际进行微调,所以每次导入需要覆盖原有的数据,财务预算的文档是excel,待导入系统为mys...

cimenbi 发表了文章 • 2018-07-30 01:11

0
推荐
247
浏览

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意,kettle的每一个版本的开发是基于不同的jd...

cimenbi 发表了文章 • 2018-07-29 10:56

0
推荐
245
浏览

kettle之旅--下载获取kettle/pdi

获取kettle,这个文章很多小伙伴都觉得没必要,其实我想说,既然研究这个解决方案,那知其然知其所以然。kettle源码kettle是开源的,所以开源的地址在哪里呢?当然是github: https://github.com/pentaho/pentaho-...

cimenbi 发表了文章 • 2018-07-28 23:59

0
推荐
189
浏览

kettle之旅--kettle/pdi的发展史简述

简述kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成,后续被Pentaho公司收购(收购后改名),Matt同时加...

cimenbi 发表了文章 • 2018-07-28 22:50

0
投票
0
回答
332
浏览
0
推荐
365
浏览

kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天

一、获取当天日期有两种方法:01."获取系统信息"组件-》类型选择系统日期(可变)即可。注:组件的英文名为:SystemInfo02."javascript代码"组件中的new Date()注:组件的英文名为:ScriptValueMod上述两种方法获...

大白菜 发表了文章 • 2018-05-24 10:07

0
投票
2
已解决
2701
浏览
0
推荐
385
浏览

【原创】kettle5.X 6.X 读入 mongodb数据【3.0+版本有用户密码认证情况下】

正文开始测试平台:win10+64位平台kettle(5.2.0版本)mongo(MongoDB server version: 3.4.1)问题描述:经过测试发现,如果 MongoDB 需要验证的话,kettle6.0以及以下版本是无法使用 “MongoDB input” 组件连接 ...

大白菜 发表了文章 • 2018-05-17 14:21

条新动态, 点击查看
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
牟瑞

牟瑞 回答了问题 • 2016-02-16 10:47 • 2 个回复 不感兴趣

kettle 如何双表同步更新 保存版本

赞同来自:

用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
这个有可能是因为时区的问题导致的
这个有可能是因为时区的问题导致的
我所知道的可以发送邮件通过添加附件形式传输文件.  具体操作 可自行百度 kettle+邮件+附件 
我所知道的可以发送邮件通过添加附件形式传输文件.  具体操作 可自行百度 kettle+邮件+附件 
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
这个看需要,没有固定的好与不好,每个转换都放到一个作业里面,也没这个必要
这个看需要,没有固定的好与不好,每个转换都放到一个作业里面,也没这个必要
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
9
推荐
4068
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
投票
0
回答
264
浏览
0
投票
0
回答
332
浏览
0
投票
2
已解决
2701
浏览
2
推荐
252
浏览

kettle之旅--kettle/pdi从开发到部署完整案例

案例背景公司市场部门现在需要每月1号将财务预算导入到系统,进行数据计算和分析,因为该预算是总体预算,每个月需要根据实际进行微调,所以每次导入需要覆盖原有的数据,财务预算的文档是excel,待导入系统为mys...

cimenbi 发表了文章 • 2018-07-30 01:11

0
推荐
247
浏览

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意,kettle的每一个版本的开发是基于不同的jd...

cimenbi 发表了文章 • 2018-07-29 10:56

0
推荐
245
浏览

kettle之旅--下载获取kettle/pdi

获取kettle,这个文章很多小伙伴都觉得没必要,其实我想说,既然研究这个解决方案,那知其然知其所以然。kettle源码kettle是开源的,所以开源的地址在哪里呢?当然是github: https://github.com/pentaho/pentaho-...

cimenbi 发表了文章 • 2018-07-28 23:59

0
推荐
189
浏览

kettle之旅--kettle/pdi的发展史简述

简述kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成,后续被Pentaho公司收购(收购后改名),Matt同时加...

cimenbi 发表了文章 • 2018-07-28 22:50

0
推荐
365
浏览

kettle转换组件杂记-【javascript组件】获取当前时间的前一天/后一天

一、获取当天日期有两种方法:01."获取系统信息"组件-》类型选择系统日期(可变)即可。注:组件的英文名为:SystemInfo02."javascript代码"组件中的new Date()注:组件的英文名为:ScriptValueMod上述两种方法获...

大白菜 发表了文章 • 2018-05-24 10:07

1
推荐
318
浏览

Kettle作业/转换自动化方案——任务计划程序调用

前序:Kettle统一数据库管理配置最初用 Kettle的时候,为了方便不同环境用不同的数据库连接,在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录,通过配置环境变量让Kettle应用。在配置...

cimenbi 发表了文章 • 2018-02-27 16:40

0
推荐
511
浏览

调度kettle使用taskctl我该怎么部署

最近在QQ群看到有小伙伴在问用taskctl调度kettle,都要安装些什么呢?都支持哪些平台上的kettle调度(windows/Linux)?从论坛搜到两种不同的调度方式那种是对的?如果都是对的,这两钟调度方式都有什么区别,那...

田净植 发表了文章 • 2017-11-17 10:42

0
推荐
386
浏览

5步上手体验kettle快捷调度方式

https://my.oschina.net/u/944575/blog/1557410 kettle调度监控最佳实践https://my.oschina.net/u/1026947/blog/1558620 解决kettle调度效率低,不可高并发调度方法最近taskctl发布了全新的kettle调度...

田净植 发表了文章 • 2017-11-13 14:59

2
推荐
963
浏览

Kettle调度更新!比pan和kitchen效率快N倍,支持高并发!

“我在spoon里面运行一个作业只要几秒种,但是在TASKCTL中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,TASKCTL好占资源呀!”TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次...

taskctl 发表了文章 • 2017-11-03 14:27

0
推荐
516
浏览

解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业...

田净植 发表了文章 • 2017-10-31 11:39

1
推荐
738
浏览

kettle调度监控最佳实践

本文转载于: https://my.oschina.net/u/944575/blog/1557410Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。    ...

田净植 发表了文章 • 2017-10-30 11:34

0
推荐
482
浏览

kettle访问hdfs错误汇总-2

使用目的:通过访问hadoop数据(hive、hdfs),实现大数据访问及kettle可视化数据处理上篇:https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段:依据是首先要分布均匀,也就是做hash的时候能够每个桶的...

华青莲 发表了文章 • 2017-09-08 15:54

0
推荐
285
浏览

taskctl跨调度服务依赖实现

       原文 : http://www.cnblogs.com/01passerby/p/7483091.html       今天发现了taskctl一个比较强大的功能跨调度服务依赖,在这里分享给大家:  &...

田净植 发表了文章 • 2017-09-06 10:02

1
推荐
352
浏览

为什么做作业批量调度的很多人都使用TASKCTL(转载)

(1)和其他类似作业调度工具相比,TASKCTL相对简洁,能兼容和适应各种作业类型的调度。(2)作业的设计本身源于业务系统,多数人只是想找一个能把自己的或者别人写的作业统一调度串联起来就行,而有些调度工具体系做...

田净植 发表了文章 • 2017-09-05 10:40

0
推荐
386
浏览

Control-M与TASKCTL那个能更好与kettle调度结合使用(转载)

前提看了一篇几年前的帖子 ETL工具之调度中美PK ( TASKCTL VS Control-M)作为一个使用过taskctl而没有使用过Control-M的用户,从目前的体验度而言,觉得taskctl还是比较好用的,很多操作都符合目前主流的用...

田净植 发表了文章 • 2017-09-01 10:49

      Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。