ETL

ETL

0
投票
2
已解决
1834
浏览
0
投票
3
已解决
268
浏览
0
投票
0
回答
40
浏览

微软BI求助

darklinboxs 发起了问题 • 3 天前
0
投票
0
回答
71
浏览
0
投票
2
回答
1730
浏览
0
投票
1
已解决
100
浏览
0
投票
1
回答
213
浏览

kettle数据清洗

WonderSeen 回复了问题 • 2018-05-10 13:02
0
投票
1
已解决
86
浏览

SSIS 2017 连接不到Excel目标

汤辉糖粉 回复了问题 • 2018-05-10 12:54
0
投票
0
回答
80
浏览
0
投票
1
回答
97
浏览

Datastage 11 的问题

xiaoliuzi 回复了问题 • 2018-04-30 21:07
0
投票
2
回答
370
浏览

SSIS 循环读取EXcel源的sheet页,读取失败

lyric 回复了问题 • 2018-04-19 19:21
0
投票
0
回答
87
浏览
0
投票
3
已解决
265
浏览
条新动态, 点击查看
子建

子建 回答了问题 • 2015-10-23 13:33 • 2 个回复 不感兴趣

请问一下,kettle如何抽取oracle的BLOB字段数据?

赞同来自:

<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
<p>BLOB是二进制流类型,kettle没有这种类型的,先处理成字符串类型在抽取</p>
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing... 显示全部 »
你可以升级excel到07以后的版本。这杨支持的行记录数便会多些。
 
如果确实想写入多个sheet,则仔细参考下这个博客:
http://type-exit.org/adventures-with-open-source-bi/2010/07/writing-to-multiple-excel-sheets-with-kettle/
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
你先换个浏览器试一试
当然权限也能做到,但是我猜admin是有这个权限的,所以先换个浏览器
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
KETTLE的集群重点在于中间过程的计算,不再于读取和写入数据,所以读数据的模块不能纳入集群中,写入模块如果是写入有事务处理的数据存储中是可以的,如果是写入文件,可能就不行了。
liutangwow

liutangwow 回答了问题 • 2017-08-05 16:48 • 2 个回复 不感兴趣

请教 ssis foreach报错

赞同来自:

报的什么错误呢?如果那个字段是字符串类型的,映射应该是没有问题的,可以贴一下详细的错误信息看看
 
------------update at 2017-08-08
1.首先,确认下你的biz_week字段是什么类型,我猜可能不是字符串导致的错误。
把变量替换... 显示全部 »
报的什么错误呢?如果那个字段是字符串类型的,映射应该是没有问题的,可以贴一下详细的错误信息看看
 
------------update at 2017-08-08
1.首先,确认下你的biz_week字段是什么类型,我猜可能不是字符串导致的错误。
把变量替换为biz_week的字段类型就行了。

45779
我试了下,发现错误和你这个差不多,

45780
 
 
2.确认Foreach中的其他配置没有问题

45781
 
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加S... 显示全部 »
这么长时间过去了,不知道你问题解决没,这里应该是你数据库的问题
sqlnet.send_timeout用于秒指定时间,为数据库服务器完成发送操作的客户端连接建立。
如果数据库服务器无法在指定的时间内完成发送操作,就会发生错误。
要解决此问题,请在服务器端添加SQLNET.SEND_TIMEOUT = 600(这个单位是秒,自行设置大小)到sqlnet.ora文件中,具体联系你们dba。
 
 
liutangwow

liutangwow 回答了问题 • 2017-08-09 10:59 • 1 个回复 不感兴趣

SSIS循环抽取EXCLE文件,记录文件名到日志?

赞同来自:

可以的,在遍历的时候,可以获取文件名称,可以选择获取的文件名称还是文件全路径名

45814
 
在变量映射中,我们可以获取到变量

45815
 
可以的,在遍历的时候,可以获取文件名称,可以选择获取的文件名称还是文件全路径名

45814
 
在变量映射中,我们可以获取到变量

45815
 
导出文本文件 直接上传hdfs
导出文本文件 直接上传hdfs
项目--配置属性--调试  将run64bitruntime 设为false  还是报原来的错: 
对连接管理器“CITOS_PRODDG”的 AcquireConnection 方法调用失败,错误代码为 0xC0202009。可能在此之前已经发出错误消息,提... 显示全部 »
项目--配置属性--调试  将run64bitruntime 设为false  还是报原来的错: 
对连接管理器“CITOS_PRODDG”的 AcquireConnection 方法调用失败,错误代码为 0xC0202009。可能在此之前已经发出错误消息,提供了有关 AcquireConnection 方法调用失败原因的详细信息。
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
46815
用个函数ifnull就可以啦 ,见上图,除非是你的模型建的不对
 
roveshadow

roveshadow 回答了问题 • 2017-12-25 10:59 • 1 个回复 不感兴趣

KETTLE调度每天晚上2点左右自动停

赞同来自:

建议升级JRE kettle 以及 kettle相关数据库驱动jar包
建议升级JRE kettle 以及 kettle相关数据库驱动jar包
获取系统信息-时间
获取系统信息-时间
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
问题已解决,原因是由于id设置了不能为空,而id的值是数据库中的sequence,报不能解析的警告,把不能为空not null检查(仅限于流)的勾去掉就好了
你修改excel 源控件对应列的数据类型即可
你修改excel 源控件对应列的数据类型即可
1
推荐
638
浏览

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") E...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-11-21 10:23

3
推荐
822
浏览

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账户:scott  创建存储过程名 getSalaryByEmpN...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-15 11:44

2
推荐
751
浏览

Datastage 循环调度作业实例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:最近数据库在做迁移,同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行,同时需要输入特定的参数。如果基于目前...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-14 13:45

0
投票
1
已解决
502
浏览

异构数据实时同步工具

牟瑞 回复了问题 • 2016-07-07 09:47
5
推荐
792
浏览

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Enterprise)进行Append 数据加载模式时,要求设置Stage...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-01 00:00

0
投票
5
已解决
1128
浏览
0
投票
6
已解决
3488
浏览
0
投票
4
已解决
2168
浏览

ETL之前,如何实现数据质量的检测?

BIWORK 回复了问题 • 2016-02-21 11:29
0
投票
3
回答
1504
浏览
8
推荐
3821
浏览

kettle5.3版本介质下载及视频学习分享

看到很多人问kettle下载路径,这边百度盘共享一下 http://pan.baidu.com/s/1eQvZDuE手把手教你使用开源ETL工具kettle http://www.hellobi.com/course/37

子建 发表了文章 • 2015-08-11 21:53

0
推荐
1735
浏览

白话数据仓库 ETL 搭建全过程

经过多年来企业信息化建设,大部分都拥有了自己的财务,OA,CRM 等软件。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报表,并不一定能对企业运行情况有全面客观的了...

simon_li0908 发表了文章 • 2015-08-05 11:30

0
投票
4
回答
2544
浏览

SSIS中ForEach控件使用分享

jxsrzheng 回复了问题 • 2013-12-10 11:02
0
投票
4
回答
4845
浏览
0
投票
4
已解决
5910
浏览

SSIS控件使用大全,知识点回顾与整理

BILove2014 回复了问题 • 2014-11-21 18:14
0
投票
2
已解决
1834
浏览
0
投票
0
回答
40
浏览

微软BI求助

darklinboxs 发起了问题 • 3 天前
0
投票
0
回答
71
浏览
0
投票
1
已解决
100
浏览
0
投票
1
回答
213
浏览

kettle数据清洗

WonderSeen 回复了问题 • 2018-05-10 13:02
0
投票
0
回答
80
浏览
0
投票
0
回答
87
浏览
0
投票
3
已解决
265
浏览
0
投票
0
回答
87
浏览
0
投票
0
回答
200
浏览
2
推荐
148
浏览

Kettle作业/转换自动化方案——SQLAgent调用DOS命令(结果:方案无效)

背景:最近团队开始使用Kettle做ETL开发。网上通用的作业/转化自动化方案是依赖windows自身的任务计划程序实现的。鉴于任务计划程序的失败没有办法在执行失败时发出通知邮件,所以想尝试看是否能够用SQLAgent调用...

cimenbi 发表了文章 • 2018-02-27 16:12

0
推荐
302
浏览

SSIS2012 数据提取容易忽略的细节与不起眼的小技巧——总结

总结根据以往工作学习中没有太在意或者说没意识到的地方,做一个关于SSIS数据提取的细节技巧总结。(这是一篇没有图的文章)1.禁忌的select *           在数据流中,运行时,OLED...

粽子job 发表了文章 • 2017-09-21 22:15

0
推荐
261
浏览

关于ODI逆向程序视图显示不出来字段问题处理

       本人近期在做ODI抽取数据过程中遇到一个问题:       在做逆向程序的时候,首先逆向一张同义词,成功后但在属性栏并未看到字段,百般周折百度之后,在...

你美 发表了文章 • 2017-05-13 16:03

4
推荐
838
浏览

ETL开发面试问题加吐槽加职业发展建议

写在前面:作为甲方,对于乙方派来的开发人员,我是会自己面一下。总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,中间也遇到过很多想吐槽的东西,于是大概记录了下来。...

哥本哈士奇 发表了文章 • 2017-04-30 19:53

1
推荐
1147
浏览

Kettle手册(十二)- 控件使用-从步骤插入数据

这里介绍一个控件的小功能,也是最近才发现的,之前在“表输入”中要使用参数的话,一般都是使用变量,其实,还有个功能也可以尝试使用整体流程就是这样,我们第一个 query_paramter,就是查询了我们想设置的参数然...

liutangwow 发表了文章 • 2017-04-14 17:35

2
推荐
921
浏览

Kettle手册(十一)- 用PGP加密、加密文件

看到有同学提问,以前也没用过,百度了一下,找了些资料,这里记录下。1. 安装gpg4win这个gpg4win是干嘛的呢,我们可以去他的官网看看:gpg4win目前,只知道他是加密的,这个是对Windows平台使用的这里可能还有个...

liutangwow 发表了文章 • 2017-04-11 10:18

2
推荐
1067
浏览

Kettle手册(十)- 跨库查询

Kettle整体使用起来,还是很方便的,熟悉应用了之后,就是对控件的熟悉和使用了,只要思路有了,就是整合下Kettle中各个控件的使用就行。这里,简单介绍下一个“跨库查询”的控件。有的时候,我们一个脚本,可能只...

liutangwow 发表了文章 • 2017-04-10 11:51

3
推荐
1134
浏览

Kettle手册(九)- 发送邮件

在Kettle里面,我们每天执行完调度之后,想要监控下JOB的执行状态,通常我们可以会发送邮件,可以的话,还可以发送短信。在Kettle里面,发送邮件很方便,这里,我们就简单的测试下。1. 在作业中发送简单邮件 ...

liutangwow 发表了文章 • 2017-04-10 11:03

2
推荐
596
浏览

Datastage write failed: Output file full 解决

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0问题描述: 1.APT_CombinedOperatorController,0: Fatal Error: Tsort mergeraborting: Scratch spac...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2017-03-31 15:05

0
推荐
1551
浏览

Kettle手册(八)- 循环

有的时候,我们想要在Kettle中实现这个循环的功能,比如,批量加载数据的时候,我们要对10张表执行同样的操作,只有表名和一些信息不一样,这时,写个循环就省事儿多了1. 遍历结果集实现这里的话,我们主要是通过...

liutangwow 发表了文章 • 2017-03-29 22:43

1
推荐
1581
浏览

Kettle手册(七)- 资源库的使用

1.为什么使用资源库    之前,我们新建转换或者作业的时候,都是直接保存在本地,而如果我们是多人开发的话,除了使用SVN等版本控制软件,还可以使用Kettle的资源库,他会将转换、作业直接保存在...

liutangwow 发表了文章 • 2017-03-29 18:49

1
推荐
2371
浏览

Kettle手册(三)- 配置文件的使用及密码加密

好了,我们上一回,练习了一个从数据库导出数据到Excel的例子,我们想一下,如果有很多个转换,我们没链接一次数据库,是不是都需要重复的输入那些数据库地址啊,数据库啊,用户名啊之类的。其实是不用的,我们可...

liutangwow 发表了文章 • 2017-03-28 22:31

3
推荐
744
浏览

kettle将一行数据处理为多行数据

需求现有数据如表A,username是用户名,products是购买的商品名,如第一行数据表示为用户name1购买了apple,milk,eggs这三样物品。物品之间的分隔符为多样,这里有;,、这三种形式。现要将该表进行处理,处理为表...

_缘君_ 发表了文章 • 2017-01-13 12:41

6
推荐
798
浏览

长时间运行SSIS的ETL,造成SSISDB数据库过大撑爆磁盘,如何处理?

不想听唠叨的请直接右边【目录】-【解决办法】。年底事儿特别多!!!之前有同事学 @biwork 老师的课程,顺手就拿过来看了看视频(没学完,嘿嘿),然后由于公司需要,当时就用SSIS的ETL做了一套关于数据处理的报...

sfrost 发表了文章 • 2017-01-06 13:35

推荐
浏览


randolph_huangjiayi 发表了文章 •

      ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。