Kettle

Kettle

0
投票
2
已解决
1834
浏览
0
推荐
110
浏览

【原创】kettle5.X 6.X 读入 mongodb数据【3.0+版本有用户密码认证情况下】

正文开始测试平台:win10+64位平台kettle(5.2.0版本)mongo(MongoDB server version: 3.4.1)问题描述:经过测试发现,如果 MongoDB 需要验证的话,kettle6.0以及以下版本是无法使用 “MongoDB input” 组件连接 ...

大白菜 发表了文章 • 6 天前

0
投票
2
回答
1730
浏览
0
投票
0
回答
113
浏览
0
投票
0
回答
162
浏览
1
推荐
142
浏览

Kettle作业/转换自动化方案——任务计划程序调用

前序:Kettle统一数据库管理配置最初用 Kettle的时候,为了方便不同环境用不同的数据库连接,在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录,通过配置环境变量让Kettle应用。在配置...

cimenbi 发表了文章 • 2018-02-27 16:40

0
投票
1
已解决
274
浏览
条新动态, 点击查看
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
牟瑞

牟瑞 回答了问题 • 2016-02-16 10:47 • 2 个回复 不感兴趣

kettle 如何双表同步更新 保存版本

赞同来自:

用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
用的什么数据库?跟Kettle没有多大关系。
如果是sqlserver,可以参考触发器或者CDC
如果是mysql可以考虑监听bin.log或者采用双主数据库写入数据的方式。
这个有可能是因为时区的问题导致的
这个有可能是因为时区的问题导致的
我所知道的可以发送邮件通过添加附件形式传输文件.  具体操作 可自行百度 kettle+邮件+附件 
我所知道的可以发送邮件通过添加附件形式传输文件.  具体操作 可自行百度 kettle+邮件+附件 
这个正常写脚本就可以了,一个“表输入”,一个“表输出”最简单了,如果有其他特殊要求,再详细描述下就可以了
 
这个正常写脚本就可以了,一个“表输入”,一个“表输出”最简单了,如果有其他特殊要求,再详细描述下就可以了
 
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
A,B表是一个库里的么?一个库里的话用【表输入】+【更新】就能实现,在表输入中用sql查出来A的记录在B中不存在记录的主键及要修改的字段,用更新组件更新字段内容即可。
这个看需要,没有固定的好与不好,每个转换都放到一个作业里面,也没这个必要
这个看需要,没有固定的好与不好,每个转换都放到一个作业里面,也没这个必要
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
没遇到过这种异常,这个字不认识,百度了下,㙍,念 duo 一声,正常字符串没问题吧应该;
而且你执行的话,会有报错信息啊,我这到没有测试,感觉应该没问题,看看报什么错误信息,就是执行窗口会有信息啊;
命令执行的话,也可以记录log的。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
向这样输出日志看看
00 06  * * * /scripts/purgecache.sh > /scripts/logs/purgecache.log 2>/scripts/logs/purgecache_error.log &

 
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。
关联之后就是一个结果集了,同一个数据库直接用SQL,不同数据库kettle 有数据库连接控件
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
表结构一样的话直接输出就行;不同数据库的如果需要合并关联可以用数据库连接(用问号?表示前面表输入传递的参数),关联后输出到新表中。
表输入->数据库连接(低版本kettle可能没有,可用表输入代替)->表输出
8
推荐
3821
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
投票
2
已解决
1834
浏览
0
投票
0
回答
113
浏览
0
投票
0
回答
162
浏览
0
投票
1
已解决
274
浏览
1
推荐
142
浏览

Kettle作业/转换自动化方案——任务计划程序调用

前序:Kettle统一数据库管理配置最初用 Kettle的时候,为了方便不同环境用不同的数据库连接,在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录,通过配置环境变量让Kettle应用。在配置...

cimenbi 发表了文章 • 2018-02-27 16:40

0
推荐
326
浏览

调度kettle使用taskctl我该怎么部署

最近在QQ群看到有小伙伴在问用taskctl调度kettle,都要安装些什么呢?都支持哪些平台上的kettle调度(windows/Linux)?从论坛搜到两种不同的调度方式那种是对的?如果都是对的,这两钟调度方式都有什么区别,那...

田净植 发表了文章 • 2017-11-17 10:42

0
推荐
254
浏览

5步上手体验kettle快捷调度方式

https://my.oschina.net/u/944575/blog/1557410 kettle调度监控最佳实践https://my.oschina.net/u/1026947/blog/1558620 解决kettle调度效率低,不可高并发调度方法最近taskctl发布了全新的kettle调度...

田净植 发表了文章 • 2017-11-13 14:59

2
推荐
605
浏览

Kettle调度更新!比pan和kitchen效率快N倍,支持高并发!

“我在spoon里面运行一个作业只要几秒种,但是在TASKCTL中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,TASKCTL好占资源呀!”TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次...

taskctl 发表了文章 • 2017-11-03 14:27

0
推荐
308
浏览

解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业...

田净植 发表了文章 • 2017-10-31 11:39

1
推荐
506
浏览

kettle调度监控最佳实践

本文转载于: https://my.oschina.net/u/944575/blog/1557410Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。    ...

田净植 发表了文章 • 2017-10-30 11:34

0
推荐
345
浏览

kettle访问hdfs错误汇总-2

使用目的:通过访问hadoop数据(hive、hdfs),实现大数据访问及kettle可视化数据处理上篇:https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段:依据是首先要分布均匀,也就是做hash的时候能够每个桶的...

华青莲 发表了文章 • 2017-09-08 15:54

0
推荐
198
浏览

taskctl跨调度服务依赖实现

       原文 : http://www.cnblogs.com/01passerby/p/7483091.html       今天发现了taskctl一个比较强大的功能跨调度服务依赖,在这里分享给大家:  &...

田净植 发表了文章 • 2017-09-06 10:02

1
推荐
220
浏览

为什么做作业批量调度的很多人都使用TASKCTL(转载)

(1)和其他类似作业调度工具相比,TASKCTL相对简洁,能兼容和适应各种作业类型的调度。(2)作业的设计本身源于业务系统,多数人只是想找一个能把自己的或者别人写的作业统一调度串联起来就行,而有些调度工具体系做...

田净植 发表了文章 • 2017-09-05 10:40

0
推荐
261
浏览

Control-M与TASKCTL那个能更好与kettle调度结合使用(转载)

前提看了一篇几年前的帖子 ETL工具之调度中美PK ( TASKCTL VS Control-M)作为一个使用过taskctl而没有使用过Control-M的用户,从目前的体验度而言,觉得taskctl还是比较好用的,很多操作都符合目前主流的用...

田净植 发表了文章 • 2017-09-01 10:49

0
推荐
317
浏览

Kettle学习导航帖

最近在学习Kettle,期间收集了很多帖子,整理过后分享给大家,还有很多知识点没学习到,还望大家帮我补充下 Kettle入门:Kettle简介:百度百科https://baike.baidu.com/item/Kettle/5920713?fr=aladdin ...

田净植 发表了文章 • 2017-08-30 14:58

3
推荐
1597
浏览

kettle+hive使用心得之Hadoop File Output

kettle作为etl工具同步数据到hive,直接使用表输出或者插入更新组件出现速度秒级一条的尴尬,为了解决这种输出端数据同步瓶颈及缓解给领导交代的窘态,在项目中使用了Hadoop File Output组件,流程如下:一、连接...

华青莲 发表了文章 • 2017-04-09 11:15

3
推荐
744
浏览

kettle将一行数据处理为多行数据

需求现有数据如表A,username是用户名,products是购买的商品名,如第一行数据表示为用户name1购买了apple,milk,eggs这三样物品。物品之间的分隔符为多样,这里有;,、这三种形式。现要将该表进行处理,处理为表...

_缘君_ 发表了文章 • 2017-01-13 12:41

3
推荐
1113
浏览

Kettle实现循环增量抽取数据

数据量数以千万计时,初次一次性抽取历史数据容易出现卡死,针对这种情况可以使用循环年份抽取,并且加入增量程序使得后续抽取增量化!整体流程:1、获取年份极值(获取历史有数据的年份最大最小值)获取日期:se...

华青莲 发表了文章 • 2016-09-22 18:29

2
推荐
559
浏览

利用Jenkins自动部署工具间接构建kettle的调度平台

     目前完全为kettle定制的调度平台 (免费的)目前是没有的 ,(据我所知,商业版的pentaho完整的bi解决方案里面是有调度平台的,那个调度平台不在kettle里面,而在另外的一个bi服务器里...

guess 发表了文章 • 2016-08-24 16:37

      Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。