Datastage 利用FTP Enterprise Stage 获取FTP服务器上数据文件实例

浏览: 3160

环境:

版本:IBM InfoSphere DataStage V11.3.1

操作系统:linux redhat 6.4

数据库:Oracle 11.2.0.4.0

需求:

需要从FTP服务器上获取相应的业务数据文件

控件介绍:

利用DS 获取FTP远程数据文件,在DS里面已经定制了相关控件,在操作之前需要在DS服务器上安装,FTP客户端(安装包见附件)。DS利用控件,根据设置参数,执行相应的命令来获取文件。

FTP Enterprise 阶段

FTP Enterprise 阶段以并行方式传送多个文件。此阶段调用 FTP 客户机,并将文件传输到远程主机或从中传输文件。

FTP Enterprise 阶段以并行方式传送多个文件。这些是从一个或多个 FTP 服务器传送到 InfoSphere® DataStage® 或从 InfoSphere DataStage 传送到一个或多个 FTP 服务器的 Fileset。文件的源或目标由 URI(统一资源标识符)标识。FTP Enterprise 阶段调用 FTP 客户机程序,并使用 FTP 协议将文件传送到远程主机或从中传送文件。

从远程主机访问文件:

显示从远程主机访问文件的 FTP Enterprise 阶段

将文件从本地顺序文件传送到远程主机:

显示将文件传送到远程主机的 FTP Enterprise 阶段

当编辑 FTP Enterprise 阶段时,出现 FTP 阶段编辑器。该编辑器基于常规阶段编辑器。


实现

步骤1:

在DS服务器上安装FTP客户端(安装包见附件)ftp-0.17-53.el6.x86_64.rpm。

执行命令:

rpm -i ftp-0.17-53.el6.x86_64.rpm

步骤2:

测试是否可以连接FTP服务器:

[root@localhost ~]# ftp 共享FTP服务器IP 
Connected to 指定IP (指定IP).
220-FileZilla Server 0.9.57 beta
220-written by Tim Kosse (tim.kosse@filezilla-project.org)
220 Please visit https://filezilla-project.org/
Name (指定IP:root): jk
331 Password required for jk
Password:
230 Logged on
Remote system type is UNIX.
ftp> ls
227 Entering Passive Mode (指定ip,255,74)
150 Opening data channel for directory listing of "/"
drwxr-xr-x 1 ftp ftp 0 Jun 03 09:36 20160601
drwxr-xr-x 1 ftp ftp 0 Jun 03 09:37 20160602
drwxr-xr-x 1 ftp ftp 0 Jun 03 18:26 20160603
226 Successfully transferred "/"
ftp>

步骤3:

具体DS 作业设计,(注意:该作业设计是 server job

Clipboard Image.png

a)

Clipboard Image.png

b)

Clipboard Image.png

c)

Clipboard Image.png

输入阶段

d)

Clipboard Image.png

e)

Clipboard Image.png

补充:

该控件支持多个输出,所以可以同时获取多个数据文件。

推荐 2
本文由 我是最优雅的杀手,不杀人专杀狗 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册