ETL

ETL

0
投票
0
回答
23
浏览
0
投票
0
回答
59
浏览
0
投票
1
已解决
80
浏览

kettle的job指定时间段执行

roveshadow 回复了问题 • 2018-10-25 17:14
1
投票
1
已解决
335
浏览

kettle的carte配置问题

jiangliu8 回复了问题 • 2018-10-18 10:33
0
投票
2
回答
792
浏览
0
投票
1
回答
189
浏览

kettle的carte执行报错问题。

伯乐快乐 回复了问题 • 2018-09-08 15:06
0
推荐
209
浏览

翻译 - 关于DAC变量

About DAC VariablesDAC contains predefined variables that act as a mechanism to allow parameters to access various ETL-specific and task-specific information. These variables are available when you...

wffger 发表了文章 • 2018-08-09 15:14

推荐
浏览


gw9hf5 发表了文章 •

推荐
浏览


wreqy0 发表了文章 •

推荐
浏览


ggud76 发表了文章 •

条新动态, 点击查看
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加S... 显示全部 »
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加SQLNET.SEND_TIMEOUT = 600(这个单位是秒,自行设置大小)到sqlnet.ora文件中,具体联系你们dba。
 
 
导出文本文件 直接上传hdfs
导出文本文件 直接上传hdfs
项目--配置属性--调试  将run64bitruntime 设为false  还是报原来的错: 
对连接管理器“CITOS_PRODDG”的 AcquireConnection 方法调用失败,错误代码为 0xC0202009。可能在此之前已经发出错误消息,提... 显示全部 »
项目--配置属性--调试  将run64bitruntime 设为false  还是报原来的错: 
对连接管理器“CITOS_PRODDG”的 AcquireConnection 方法调用失败,错误代码为 0xC0202009。可能在此之前已经发出错误消息,提供了有关 AcquireConnection 方法调用失败原因的详细信息。
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
roveshadow

roveshadow 回答了问题 • 2017-12-25 10:59 • 1 个回复 不感兴趣

KETTLE调度每天晚上2点左右自动停

赞同来自:

建议升级JRE kettle 以及 kettle相关数据库驱动jar包
建议升级JRE kettle 以及 kettle相关数据库驱动jar包
获取系统信息-时间
获取系统信息-时间
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
你修改excel 源控件对应列的数据类型即可
你修改excel 源控件对应列的数据类型即可
jiangliu8

jiangliu8 回答了问题 • 2018-10-18 10:33 • 1 个回复 不感兴趣

kettle的carte配置问题

赞同来自:

问题1:我也是在找寻答案
问题2:我已经解决了,将Caret.bat部署为windows 服务就可以解决,我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
问题1:我也是在找寻答案
问题2:我已经解决了,将Caret.bat部署为windows 服务就可以解决,我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
roveshadow

roveshadow 回答了问题 • 2018-10-25 17:14 • 1 个回复 不感兴趣

kettle的job指定时间段执行

赞同来自:

JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
1
推荐
906
浏览

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") E...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-11-21 10:23

3
推荐
1186
浏览

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账户:scott  创建存储过程名 getSalaryByEmpN...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-15 11:44

2
推荐
1040
浏览

Datastage 循环调度作业实例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:最近数据库在做迁移,同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行,同时需要输入特定的参数。如果基于目前...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-14 13:45

0
投票
1
已解决
637
浏览

异构数据实时同步工具

牟瑞 回复了问题 • 2016-07-07 09:47
5
推荐
1110
浏览

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Enterprise)进行Append 数据加载模式时,要求设置Stage...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-01 00:00

0
投票
5
已解决
1305
浏览
0
投票
6
已解决
4463
浏览
0
投票
4
已解决
2700
浏览

ETL之前,如何实现数据质量的检测?

BIWORK 回复了问题 • 2016-02-21 11:29
0
投票
3
回答
1687
浏览
9
推荐
4098
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
推荐
2028
浏览

白话数据仓库 ETL 搭建全过程

经过多年来企业信息化建设,大部分都拥有了自己的财务,OA,CRM 等软件。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报表,并不一定能对企业运行情况有全面客观的了...

simon_li0908 发表了文章 • 2015-08-05 11:30

0
投票
4
回答
2711
浏览

SSIS中ForEach控件使用分享

天桥下的郑成功 回复了问题 • 2013-12-10 11:02
0
投票
4
回答
5024
浏览
0
投票
4
已解决
6352
浏览

SSIS控件使用大全,知识点回顾与整理

BILove2014 回复了问题 • 2014-11-21 18:14
0
投票
0
回答
23
浏览
0
投票
0
回答
59
浏览
0
投票
1
已解决
80
浏览

kettle的job指定时间段执行

roveshadow 回复了问题 • 2018-10-25 17:14
1
投票
1
已解决
335
浏览

kettle的carte配置问题

jiangliu8 回复了问题 • 2018-10-18 10:33
0
投票
1
回答
189
浏览

kettle的carte执行报错问题。

伯乐快乐 回复了问题 • 2018-09-08 15:06
0
投票
0
回答
333
浏览
0
投票
1
回答
356
浏览
0
投票
0
回答
225
浏览
0
推荐
209
浏览

翻译 - 关于DAC变量

About DAC VariablesDAC contains predefined variables that act as a mechanism to allow parameters to access various ETL-specific and task-specific information. These variables are available when you...

wffger 发表了文章 • 2018-08-09 15:14

推荐
浏览


gw9hf5 发表了文章 •

推荐
浏览


ggud76 发表了文章 •

推荐
浏览


xeh5ud 发表了文章 •

推荐
浏览


z7i0vn 发表了文章 •

推荐
浏览


zeh9vi 发表了文章 •

推荐
浏览


zeh9vi 发表了文章 •

推荐
浏览


gw9hf5 发表了文章 •

推荐
浏览


qzq1x4 发表了文章 •

推荐
浏览


ggud76 发表了文章 •

推荐
浏览


ecsqfj 发表了文章 •

推荐
浏览


uudvxe 发表了文章 •

推荐
浏览


m4wtm9 发表了文章 •

推荐
浏览


pbjq5s 发表了文章 •

0
推荐
339
浏览

kettle之旅--安装启动kettle/pdi

安装环境准备kettle是基于java开发的,所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意,kettle的每一个版本的开发是基于不同的jd...

cimenbi 发表了文章 • 2018-07-29 10:56

      ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。