ETL
0
投票
0
回答
3440
浏览
各位前辈，小弟想参与BI的项目
yaogunjita 发起了问题 • 2017-02-17 10:30
0
投票
0
回答
2353
浏览
sqlserver 2016 代理作业 无法运行 Analysis Services 处理的ssis包报错
都说了 发起了问题 • 2021-05-14 14:47
0
投票
5
回答
5075
浏览
BI平台构建成本及实现过程
数据人 回复了问题 • 2021-05-08 13:49
0
投票
0
回答
2614
浏览
kettle不能同时执行两个任务，后执行的把先执行的给挤掉了
袁某某 发起了问题 • 2021-04-27 21:01
0
投票
4
已解决
11780
浏览
SSIS控件使用大全，知识点回顾与整理
BILove2014 回复了问题 • 2021-04-10 16:27
0
投票
0
回答
2457
浏览
SSIS包部署报错的相关问题
王小色1991 发起了问题 • 2020-12-24 18:46
0
投票
2
回答
2642
浏览
使用window计划任务调用kettle包执行越来越慢的问题
seng 回复了问题 • 2020-12-08 09:16
0
投票
1
回答
2451
浏览
kittle windows 执行计划超时 影响因素有哪些？
tienco 回复了问题 • 2020-11-24 10:59
0
推荐
2671
浏览
10万级etl批量处理作业调度工具Taskctl Web应用版0元永久授权使用
软件下载：关注公众号：【Taskctl】关键字回复 "领取" 或 "软件" 即可获得认识 Taskctl-webTASKCTL 遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合ETL 调度领域自身的...
ETL批量调度-Taskctl 发表了文章 • 2020-11-24 10:11
0
投票
1
回答
1784
浏览
SQL Server Data Tools通过HDFS文件源读取Hadoop文件
LeoGYQ 回复了问题 • 2020-08-14 11:22
0
投票
2
回答
3317
浏览
Datastage 循环调度作业实例 中作者提到的StartLoop_Activity_1中参数可以由csv文件读入应该怎么实现
htl2132 回复了问题 • 2020-08-07 12:32
0
投票
1
回答
6377
浏览
0
投票
3
回答
5697
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
Shine Aurora 回复了问题 • 2020-07-23 15:43
0
推荐
2223
浏览
中美两国10万级作业调度工具 "TaskCtl" Vs "Control-M" 如何选用
前言：美方：Control-M ( www.bmc.com)中方：TASKCTL ( www.taskctl.com )ETL调度工具中美PK ( TASKCTL VS Control-M)Control-M图片源自网络TaskCtl图片源自网络而国内，在众多的软件中选择TASKCTL，我似乎没有任...
ETL批量调度-Taskctl 发表了文章 • 2020-07-09 09:54
0
推荐
2634
浏览
数据调度平台etl系统二大种类及其实现方法与流程
什么是调度系统调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab...
ETL批量调度-Taskctl 发表了文章 • 2020-07-06 15:30
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
数据量很大，机器内存配置，本来kettle就是Java开发的，Java虚拟机的机制运行的，一个转换运行完了，不会立即释放内存，自己手动关闭进程，加大启动内存，视频中有说过这个的啊
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型，kettle没有这种类型的，先处理成字符串类型在抽取</p>
子建 回答了问题 • 2015-10-23 13:44 • 2 个回复
请问一下，Kettle如何以SFTP的方式直接访问FTP目录底下的文件呢？？？我想直接读取FTP底下的XML文件，但是出现如图的错误
先拿到本地在读取吧
先拿到本地在读取吧
Bob 回答了问题 • 2015-10-23 13:27 • 3 个回复
请问一下，在Kettle我想将数据用Excel表输出，但是数据多达20万条，超过了excel表单页最大输出行，如何将数据导出到同个Excel的多个sheet中
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
如果确实想写入多个sheet，则仔细参考下这个博客：
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
你先换个浏览器试一试
当然权限也能做到，但是我猜admin是有这个权限的，所以先换个浏览器
当然权限也能做到，但是我猜admin是有这个权限的，所以先换个浏览器
你先换个浏览器试一试
当然权限也能做到，但是我猜admin是有这个权限的，所以先换个浏览器
当然权限也能做到，但是我猜admin是有这个权限的，所以先换个浏览器
这么长时间过去了，不知道你问题解决没，这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间，为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作，就会发生错误。
要解决此问题，请在服务器端添加S... 显示全部 »
sqlnet.send_timeout用于秒指定时间，为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作，就会发生错误。
要解决此问题，请在服务器端添加S... 显示全部 »
这么长时间过去了，不知道你问题解决没，这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间，为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作，就会发生错误。
要解决此问题，请在服务器端添加SQLNET.SEND_TIMEOUT = 600（这个单位是秒，自行设置大小）到sqlnet.ora文件中，具体联系你们dba。
sqlnet.send_timeout用于秒指定时间，为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作，就会发生错误。
要解决此问题，请在服务器端添加SQLNET.SEND_TIMEOUT = 600（这个单位是秒，自行设置大小）到sqlnet.ora文件中，具体联系你们dba。
导出文本文件 直接上传hdfs
导出文本文件 直接上传hdfs
46815
用个函数ifnull就可以啦 ，见上图，除非是你的模型建的不对
用个函数ifnull就可以啦 ，见上图，除非是你的模型建的不对
46815
用个函数ifnull就可以啦 ，见上图，除非是你的模型建的不对
用个函数ifnull就可以啦 ，见上图，除非是你的模型建的不对
建议升级JRE kettle 以及 kettle相关数据库驱动jar包
建议升级JRE kettle 以及 kettle相关数据库驱动jar包
获取系统信息-时间
获取系统信息-时间
袁某某 回答了问题 • 2018-03-21 14:17 • 1 个回复
在ODI接口中运行步骤都正常，但在接口运行日志里面报 ："会话已成功完成, 但错误表中报告有错误" ， 目标表的信息没有更新，错误信息以附件给出，求大家指点
问题已解决，原因是由于id设置了不能为空，而id的值是数据库中的sequence，报不能解析的警告，把不能为空not null检查（仅限于流）的勾去掉就好了
问题已解决，原因是由于id设置了不能为空，而id的值是数据库中的sequence，报不能解析的警告，把不能为空not null检查（仅限于流）的勾去掉就好了
你修改excel 源控件对应列的数据类型即可
你修改excel 源控件对应列的数据类型即可
问题1：我也是在找寻答案
问题2：我已经解决了，将Caret.bat部署为windows 服务就可以解决，我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
问题2：我已经解决了，将Caret.bat部署为windows 服务就可以解决，我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
问题1：我也是在找寻答案
问题2：我已经解决了，将Caret.bat部署为windows 服务就可以解决，我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
问题2：我已经解决了，将Caret.bat部署为windows 服务就可以解决，我已经实践过是可以的。下载一个yajsw创建部署为windows服务。
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
JOB有个控件可以实现，计算表中的记录数 写个sql语句判断当前的时间是否大于0点小于5点，是则执行空，否则执行你的SQL脚本
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
select newid() as ID ,姓名、数量 from A表 -- 表输入增加一列随机唯一值ID
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
newid() -- sqlserver用来生成 uuid随机唯一值
也可以用 replace(newid(), '-', '') 将‘-’去掉
1
推荐
4426
浏览
Datastage 利用Server Job 调度作业
版本：IBM InfoSphere DataStage V11.5.1操作系统：linux redhat 6.4步骤：创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","")
E...
我是最优雅的杀手，不杀人专杀狗 发表了文章 • 2016-11-21 10:23
3
推荐
5054
浏览
DataStage 调用存储过程（含输入输出参数）
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4需求场景：DS调度数据库中存储过程，需要带入输入输出参数。环境准备：数据准备数据库账户：scott 创建存储过程名 getSalaryByEmpN...
我是最优雅的杀手，不杀人专杀狗 发表了文章 • 2016-07-15 11:44
2
推荐
4915
浏览
Datastage 循环调度作业实例
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4需求场景：最近数据库在做迁移，同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行，同时需要输入特定的参数。如果基于目前...
我是最优雅的杀手，不杀人专杀狗 发表了文章 • 2016-07-14 13:45
0
投票
1
已解决
2256
浏览
异构数据实时同步工具
牟瑞 回复了问题 • 2016-07-07 09:47
5
推荐
4179
浏览
Datastage 作业开发规范说明
前言：以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明：针对使用数据库Oracle链接类Stage （Connector ，Enterprise）进行Append 数据加载模式时，要求设置Stage...
我是最优雅的杀手，不杀人专杀狗 发表了文章 • 2016-07-01 00:00
0
投票
2
已解决
2812
浏览
有人知道怎么在服务器上设置ds的线程吗 ,启动太多的job ds就会挂
我是最优雅的杀手，不杀人专杀狗 回复了问题 • 2016-10-09 10:23
0
投票
5
已解决
3089
浏览
增量抽取数据问题，小妹跪求赐教？
我是最优雅的杀手，不杀人专杀狗 回复了问题 • 2016-04-19 15:02
0
投票
6
已解决
9538
浏览
谁给我讲一下学习ETL工具的好处，我一直都是用存储过程抽数据？
null 回复了问题 • 2016-03-15 15:01
0
投票
4
已解决
6430
浏览
ETL之前，如何实现数据质量的检测？
BIWORK 回复了问题 • 2016-02-21 11:29
0
投票
3
回答
3766
浏览
求问Metadata Driven ETL的发展以及现状
harrychinese 回复了问题 • 2016-09-24 21:42
9
推荐
6397
浏览
kettle5.3版本介质下载及视频学习分享
看到很多人问kettle下载路径，这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37
子建 发表了文章 • 2015-08-11 21:53
0
推荐
4631
浏览
白话数据仓库 ETL 搭建全过程
经过多年来企业信息化建设，大部分都拥有了自己的财务，OA，CRM 等软件。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了...
simon_li0908 发表了文章 • 2015-08-05 11:30
0
投票
4
回答
4855
浏览
SSIS中ForEach控件使用分享
天桥下的郑成功 回复了问题 • 2013-12-10 11:02
0
投票
4
回答
6850
浏览
分享 IBM DataStage精品资料和视频
lhjnjnu 回复了问题 • 2015-07-06 09:59
0
投票
4
已解决
11780
浏览
SSIS控件使用大全，知识点回顾与整理
BILove2014 回复了问题 • 2021-04-10 16:27
0
投票
0
回答
3440
浏览
各位前辈，小弟想参与BI的项目
yaogunjita 发起了问题 • 2017-02-17 10:30
0
投票
0
回答
2457
浏览
SSIS包部署报错的相关问题
王小色1991 发起了问题 • 2020-12-24 18:46
0
投票
2
回答
2642
浏览
使用window计划任务调用kettle包执行越来越慢的问题
seng 回复了问题 • 2020-12-08 09:16
0
投票
1
回答
2451
浏览
kittle windows 执行计划超时 影响因素有哪些？
tienco 回复了问题 • 2020-11-24 10:59
0
投票
1
回答
1784
浏览
SQL Server Data Tools通过HDFS文件源读取Hadoop文件
LeoGYQ 回复了问题 • 2020-08-14 11:22
0
投票
2
回答
3317
浏览
Datastage 循环调度作业实例 中作者提到的StartLoop_Activity_1中参数可以由csv文件读入应该怎么实现
htl2132 回复了问题 • 2020-08-07 12:32
0
投票
3
回答
5697
浏览
求解大神！Kettle上一分钟跑一次的job，偶尔会出现下面这个报错，然后job就异常停止了。重新启动又是正常运行的，是什么原因呀？
Shine Aurora 回复了问题 • 2020-07-23 15:43
0
投票
2
回答
5060
浏览
informatica 存储库属性的操作模式怎么改不了普通，改完普通重启在会后又是变成独占了？请问谁知道？帮忙看看，分享一下经验，谢谢
兔斯基胖 回复了问题 • 2020-05-27 19:19
0
投票
3
已解决
12606
浏览
大家知道kettle内存一直不释放的原因和解决方法吗
kl243818244 回复了问题 • 2019-09-06 14:45
0
投票
0
回答
2553
浏览
SSDT 如何在ole db源目标添加参数变量？
lzh1225 发起了问题 • 2019-08-15 15:47
0
投票
1
回答
2000
浏览
安装informatica10.02时创建域的时候报错，大家有什么解决的方法吗
yyh尹 回复了问题 • 2019-08-04 20:04
0
投票
1
回答
4117
浏览
通过ODI接口把数据从Oracle数据库抽到HIVE数据库怎么解决
seng 回复了问题 • 2019-08-01 10:21
0
投票
2
回答
2105
浏览
informatica 10.1 创建 POWERCENTER 存储服务时出错
唐SSIS 回复了问题 • 2019-07-11 10:10
0
投票
4
回答
3697
浏览
datastage8.5安装成功后，客户端连接服务器报如下问题，请问哪位高手知道怎么解决吗？
Neo Chen 回复了问题 • 2019-06-10 13:43
0
投票
1
回答
2659
浏览
问下大家，我在datastage里面设置了每天定时调度sequence job，为什么没定时调度起来？有人遇见过这问题吗？
Neo Chen 回复了问题 • 2019-06-10 13:43
0
推荐
2372
浏览
体系结构方案 -ETL 中间件
【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。解决方案: 引入库外计算引擎 - 集算器，直...
润乾软件 发表了文章 • 2019-03-05 15:57
0
推荐
2105
浏览
翻译 - 关于DAC变量
About DAC VariablesDAC contains predefined variables that act as a mechanism to allow parameters to access various ETL-specific and task-specific information. These variables are available when you...
wffger 发表了文章 • 2018-08-09 15:14
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
推荐
浏览
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。