ETL抽取

ETL抽取

0
推荐
2234
浏览

SSIS2012之每小时增量全量抽取注册用户数据日志记录案例

背景介绍 根据用户需求以及不影响业务生产环境,需每两一小时增量抽取用户数据并做相应的日志记录。 数据源mysql ,所以源控件选择是ODBC先上个完成后的截图Control Flow Task:Data Flow Task : ...

粽子job 发表了文章 • 2017-11-28 14:17

0
投票
3
已解决
6439
浏览

DataStage8.5安装问题

yangql881012 回复了问题 • 2016-09-12 22:06
0
投票
0
回答
2461
浏览
0
投票
1
回答
2165
浏览

job定时

牟瑞 回复了问题 • 2015-09-08 20:05
0
投票
0
回答
2891
浏览

datastage作业调度不起作用

xcwjj1205 发起了问题 • 2015-08-28 13:31
0
投票
0
回答
2492
浏览
0
投票
0
回答
2057
浏览
0
投票
2
回答
2626
浏览

informatica配置资料库时连接服务器失败

sun 回复了问题 • 2015-07-15 10:46
0
投票
1
回答
6049
浏览
0
投票
2
回答
3011
浏览
0
投票
1
回答
2670
浏览

Informatica 导入新license出现错误

梁勇 回复了问题 • 2015-07-13 15:18
0
投票
1
回答
2527
浏览

informatica T11185 no more lookup cache

chi4419424 回复了问题 • 2015-06-03 13:15
条新动态, 点击查看
梁勇

梁勇 回答了问题 • 2013-07-16 20:40 • 4 个回复 不感兴趣

LOOKUP查找不到有几种处理方式?

赞同来自:

LOOKUP不到的数据一般 理解为垃圾数据,可以把查找不匹配的数据导入到Excel里面,通知业务人员去修正。或者在数据库中新建一个DataMessage表,把不匹配的数据全部加载到 该表,然后也系统管理员或者DBA统一去修复等等。
LOOKUP不到的数据一般 理解为垃圾数据,可以把查找不匹配的数据导入到Excel里面,通知业务人员去修正。或者在数据库中新建一个DataMessage表,把不匹配的数据全部加载到 该表,然后也系统管理员或者DBA统一去修复等等。
brucelu

brucelu 回答了问题 • 2013-07-23 16:48 • 4 个回复 不感兴趣

mysql的数据如何导入到sqlserver数据库中?

赞同来自:

先来回答一下,抛个砖引玉。
很多情况下是把sql server的数据导入mysql,但是要将mysql数据导入sql server如何操作呢?
测试过,安装以下方法,配置好之后还是不能直接通过SSIS无脑操作导入,还是需要写SQL导入数据,但是此法可行,可以解... 显示全部 »
先来回答一下,抛个砖引玉。
很多情况下是把sql server的数据导入mysql,但是要将mysql数据导入sql server如何操作呢?
测试过,安装以下方法,配置好之后还是不能直接通过SSIS无脑操作导入,还是需要写SQL导入数据,但是此法可行,可以解决问题。
过程如下:
Mysql实现远程访问:
一、安装环境
安装环境:win7 64bit。
安装相应版本的mysql connector:
以下讲解的是win7 64 bit安装方法,其他的系统可以选用相应版本安装。
一定要注意32bit 和 64bit的区别。
(本机是64bit,ssis是可以分为32bit 和64bit的,远程的mysql是32bit版本)
二、开启mysql服务器远程访问配置
服务器配置mysql远程访问过程
use mysql;
update user set host = '%' where user = 'root';
或者
UPDATE user SET password=PASSWORD('123456') WHERE user='root';
FLUSH PRIVILEGES;(设置完访问权限后,必须执行该语句)
三、本地mysql远程访问配置
直接安装:Mysql odbc connector 64 bit是会报错的,因为端口无法匹配报错。安装相应的connector,利用zip版本进行安装和指定32位系统安装。
网上很多资料都不全面,并且解释的odbc zip安装并不适用于win7 64bit 连接mysql 32bit
那么下面是我们安装本地的odbc32bit版本的过程了。
1、下载一个mysql-connector-odbc-noinstall-5.1.12-win32.zip
需要32bit-ZIP版本(mysql官网可以下载很多版本)
197
2、解压zip文件,可以发现文件内容如下:
198
3、选择lib文件夹内的内容:
199
4、把3步骤中的四个文件复制到下面的文件夹中:
200
5、把解压的zip文件放置到下面的文件夹中。(本人是复制到以下文件夹,方便步骤6中的cmd运行,若不想移动也可以,但是要防止删除)
201
6、点击运行(windows+R)
a.输入cmd进入管理界面
->Cmd
b.进入myodbc-installer.exe所在的文件夹
->Cd C:\Program Files\MySQL\mysqlconnector5.1.12win32\bin
c.安装5.1 32bit mysql 驱动。
->myodbc-installer.exe -d -a -n "MySQL ODBC 5.1 Driver" -t "DRIVER=myodbc5.dll;SETUP=myodbc5S.dll"
d. 显示Success: Usage count is 1(运行多次会自增1)说明已经成功安装了,否则失败。
7、设置odbc32位,打开C:\Windows\SysWOW64\odbcad32.exe对应的odbc设置32bit的数据源连接,如图所示(如果利用系统默认的odbc(其实是64bit的)打开刚刚设置的32bit odbc会报错)。
202
8、可以编写sql脚本进行数据导入了。
如果SSIS是64bit可以调节下面的run64bit选项的值,改成False。(主要看SSIS是什么类型的。)
203
希望有其他更好的方案提出,除此之外好像还有些软件可以解决此问题。目前没有使用过,不做评论。
资料库记得备份,重新安装后将资料库指向备份的内容,所有的东西都在。
包执行计划依赖ODI代理,需重建代理,将包,计划指向代理即可。
资料库记得备份,重新安装后将资料库指向备份的内容,所有的东西都在。
包执行计划依赖ODI代理,需重建代理,将包,计划指向代理即可。
BlueBreezeq

BlueBreezeq 回答了问题 • 2014-03-07 14:21 • 3 个回复 不感兴趣

DataStage8.5安装问题

赞同来自:

这是执行setup时候报的错吧?缺包了。官网给出了各个平台安装Datastage所需的包,都安上就差不多了。祝君好运,哇咔咔!
这里是一个8.7的链接,你找找对应的版本吧。

用户组不允许发站外链接,自己“空格”两个字删了吧。
http:空格//pic.dhe... 显示全部 »
这是执行setup时候报的错吧?缺包了。官网给出了各个平台安装Datastage所需的包,都安上就差不多了。祝君好运,哇咔咔!
这里是一个8.7的链接,你找找对应的版本吧。

用户组不允许发站外链接,自己“空格”两个字删了吧。
http:空格//pic.dhe.ibm.com/infocenter/prodguid/v1r0/clarity-reports/report/html/softwareReqsForProduct?deliverableId=1267461078083&osPlatform=Linux
brucelu

brucelu 回答了问题 • 2014-01-27 17:26 • 1 个回复 不感兴趣

SSIS ETL重定向问题。

赞同来自:

自己已经搞定了,看错了,是重定向之后,又对更新数据进行了处理。
自己已经搞定了,看错了,是重定向之后,又对更新数据进行了处理。
xiaoliuzi

xiaoliuzi 回答了问题 • 2014-08-01 10:54 • 1 个回复 不感兴趣

Datastage 中的open command和close command如何使用

赞同来自:

不好意思最近上网比较少,
问题1可以看官网解释:
The Open command property allows you to specify a command (for example some SQL) that will be executed by... 显示全部 »
不好意思最近上网比较少,
问题1可以看官网解释:
The Open command property allows you to specify a command (for example some SQL) that will be executed by the database before it processes any data from the stage. There is also a Close property that allows you to specify a command to execute after the data from the stage has been processed
问题2
ds stage里面有选项先delete 再insert
0
投票
3
已解决
6439
浏览

DataStage8.5安装问题

yangql881012 回复了问题 • 2016-09-12 22:06
0
投票
0
回答
2461
浏览
0
投票
1
回答
2165
浏览

job定时

牟瑞 回复了问题 • 2015-09-08 20:05
0
投票
0
回答
2891
浏览

datastage作业调度不起作用

xcwjj1205 发起了问题 • 2015-08-28 13:31
0
投票
0
回答
2492
浏览
0
投票
0
回答
2057
浏览
0
投票
2
回答
2626
浏览
0
投票
1
回答
6049
浏览
0
投票
2
回答
3011
浏览
0
投票
1
回答
2670
浏览

Informatica 导入新license出现错误

梁勇 回复了问题 • 2015-07-13 15:18
0
投票
1
回答
2527
浏览

informatica T11185 no more lookup cache

chi4419424 回复了问题 • 2015-06-03 13:15
0
投票
1
回答
2336
浏览
0
推荐
2234
浏览

SSIS2012之每小时增量全量抽取注册用户数据日志记录案例

背景介绍 根据用户需求以及不影响业务生产环境,需每两一小时增量抽取用户数据并做相应的日志记录。 数据源mysql ,所以源控件选择是ODBC先上个完成后的截图Control Flow Task:Data Flow Task : ...

粽子job 发表了文章 • 2017-11-28 14:17