ETL

ETL

0
投票
1
回答
71
浏览
0
推荐
252
浏览

中美两国10万级作业调度工具 "TaskCtl" Vs "Control-M" 如何选用

前言:美方:Control-M ( www.bmc.com)中方:TASKCTL ( www.taskctl.com )ETL调度工具中美PK ( TASKCTL VS Control-M)Control-M图片源自网络TaskCtl图片源自网络而国内,在众多的软件中选择TASKCTL,我似乎没有任...

taskctl官方账号 发表了文章 • 2020-07-09 09:54

0
推荐
272
浏览

数据调度平台etl系统二大种类及其实现方法与流程

什么是调度系统调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workflow Scheduler)是任何一个稍微有点规模,不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab...

taskctl官方账号 发表了文章 • 2020-07-06 15:30

0
推荐
335
浏览

【搞事情】10万级商用etl作业调度工具taskctl免费开源了

工具背景taskctl是一款由成都塔斯克信息技术公司历尽10年研发的etl作业集群调度工具,该产品概念新颖,体系完整、功能全面、使用简单、操作流畅,它不仅有完整的调度核心、灵活的扩展,同时具备完整的应用体系。...

taskctl官方账号 发表了文章 • 2020-06-29 11:33

0
投票
2
回答
1292
浏览
0
投票
0
回答
656
浏览
0
投票
3
已解决
8607
浏览
0
投票
0
回答
776
浏览
0
投票
0
回答
885
浏览
0
推荐
1155
浏览

Kettle之旅-carte集群搭建以及远程执行转换和作业

Kettle版本:8.3集群服务器环境:master节点:win10slave节点:CentOS 6.8/CentOS 7.4服务器个数:4一、 carter集群搭建1. 所有服务器安装JDK,我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件:1)集群配...

cimenbi 发表了文章 • 2019-08-08 18:05

条新动态, 点击查看
数据量很大,机器内存配置,本来kettle就是Java开发的,Java虚拟机的机制运行的,一个转换运行完了,不会立即释放内存,自己手动关闭进程,加大启动内存,视频中有说过这个的啊
数据量很大,机器内存配置,本来kettle就是Java开发的,Java虚拟机的机制运行的,一个转换运行完了,不会立即释放内存,自己手动关闭进程,加大启动内存,视频中有说过这个的啊
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加S... 显示全部 »
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加SQLNET.SEND_TIMEOUT = 600(这个单位是秒,自行设置大小)到sqlnet.ora文件中,具体联系你们dba。
 
 
导出文本文件 直接上传hdfs
导出文本文件 直接上传hdfs
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
roveshadow

roveshadow 回答了问题 • 2017-12-25 10:59 • 1 个回复 不感兴趣

KETTLE调度每天晚上2点左右自动停

赞同来自:

建议升级JRE kettle 以及 kettle相关数据库驱动jar包
建议升级JRE kettle 以及 kettle相关数据库驱动jar包
获取系统信息-时间
获取系统信息-时间
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
你修改excel 源控件对应列的数据类型即可
你修改excel 源控件对应列的数据类型即可
jiangliu8

jiangliu8 回答了问题 • 2018-10-18 10:33 • 1 个回复 不感兴趣

kettle的carte配置问题

赞同来自:

问题1:我也是在找寻答案
问题2:我已经解决了,将Caret.bat部署为windows 服务就可以解决,我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
问题1:我也是在找寻答案
问题2:我已经解决了,将Caret.bat部署为windows 服务就可以解决,我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
roveshadow

roveshadow 回答了问题 • 2018-10-25 17:14 • 1 个回复 不感兴趣

kettle的job指定时间段执行

赞同来自:

JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
JOB有个控件可以实现,计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点,是则执行空,否则执行你的SQL脚本
select newid() as ID ,姓名、数量 from A表  -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值  
也可以用 replace(newid(), '-', '') 将‘-’去掉
select newid() as ID ,姓名、数量 from A表  -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值  
也可以用 replace(newid(), '-', '') 将‘-’去掉
1
推荐
2029
浏览

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") E...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-11-21 10:23

3
推荐
2506
浏览

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账户:scott  创建存储过程名 getSalaryByEmpN...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-15 11:44

2
推荐
2106
浏览

Datastage 循环调度作业实例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:最近数据库在做迁移,同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行,同时需要输入特定的参数。如果基于目前...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-14 13:45

0
投票
1
已解决
1258
浏览

异构数据实时同步工具

牟瑞 回复了问题 • 2016-07-07 09:47
5
推荐
2130
浏览

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Enterprise)进行Append 数据加载模式时,要求设置Stage...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-01 00:00

0
投票
5
已解决
1947
浏览
0
投票
6
已解决
7562
浏览
0
投票
4
已解决
4740
浏览

ETL之前,如何实现数据质量的检测?

BIWORK 回复了问题 • 2016-02-21 11:29
0
投票
3
回答
2384
浏览
9
推荐
5121
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
推荐
3052
浏览

白话数据仓库 ETL 搭建全过程

经过多年来企业信息化建设,大部分都拥有了自己的财务,OA,CRM 等软件。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报表,并不一定能对企业运行情况有全面客观的了...

simon_li0908 发表了文章 • 2015-08-05 11:30

0
投票
4
回答
3474
浏览

SSIS中ForEach控件使用分享

天桥下的郑成功 回复了问题 • 2013-12-10 11:02
0
投票
4
回答
5754
浏览
0
投票
4
已解决
8222
浏览

SSIS控件使用大全,知识点回顾与整理

BILove2014 回复了问题 • 2014-11-21 18:14
0
投票
1
回答
71
浏览
0
投票
0
回答
656
浏览
0
投票
3
已解决
8607
浏览
0
投票
0
回答
776
浏览
0
投票
0
回答
885
浏览
0
投票
1
回答
864
浏览
0
投票
1
回答
921
浏览
0
投票
2
回答
966
浏览
0
投票
2
已解决
1690
浏览
0
投票
0
回答
1619
浏览
0
推荐
984
浏览

体系结构方案 -ETL 中间件

【摘要】 ETL 常常做成 ELT 甚至 LET! 这样做带来的恶果是:1)数据库臃肿、负担重,数据管理混乱;2)性能低下,时间成本高( 数据库写入很慢),影响 ETL 窗口时间。解决方案: 引入库外计算引擎 - 集算器,直...

润乾软件 发表了文章 • 2019-03-05 15:57

0
推荐
851
浏览

翻译 - 关于DAC变量

About DAC VariablesDAC contains predefined variables that act as a mechanism to allow parameters to access various ETL-specific and task-specific information. These variables are available when you...

wffger 发表了文章 • 2018-08-09 15:14

推荐
浏览


gw9hf5 发表了文章 •

推荐
浏览


ggud76 发表了文章 •

推荐
浏览


xeh5ud 发表了文章 •

推荐
浏览


z7i0vn 发表了文章 •

推荐
浏览


zeh9vi 发表了文章 •

推荐
浏览


zeh9vi 发表了文章 •

推荐
浏览


gw9hf5 发表了文章 •

推荐
浏览


qzq1x4 发表了文章 •

推荐
浏览


ggud76 发表了文章 •

推荐
浏览


ecsqfj 发表了文章 •

推荐
浏览


uudvxe 发表了文章 •

推荐
浏览


m4wtm9 发表了文章 •

推荐
浏览


pbjq5s 发表了文章 •

      ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。