3
推荐
3914
阅读
Datastage 利用Notification_Activity 发送邮件实现监控（含具体作业）
版本：IBM InfoSphere DataStage V11.5.1操作系统：linux redhat 6.4平台：Apache Hadoop 2.6.0-cdh5.9.0场景：在DS调度，我们可以用DS自带的发送邮件控件去，对报错或者预警的作业来进行监控。方便及时维护或处理。控件知识：使用“通知”阶段来指定关于电子邮件通知活动的信息。
名为 dssendmail_template.txt 的电子邮...
3
推荐
2506
阅读
Datastage 利用Surrogate_Key_Generator 生成代理键（内含具体作业）
版本：IBM InfoSphere DataStage V11.5.1操作系统：linux redhat 6.4平台：Apache Hadoop 2.6.0-cdh5.9.0场景：目标表需要生成代理键。控件介绍：Surrogate Key Generator 阶段是生成超大字符集键列并维护键源的处理阶段。超大字符集键是并非从其表示的数据派生的唯一主键，因而对数据的更改不会更改主键。在星型模式数...
3
推荐
4485
阅读
DataStage 调用存储过程（含输入输出参数）
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4需求场景：DS调度数据库中存储过程，需要带入输入输出参数。环境准备：数据准备数据库账户：scott 创建存储过程名 getSalaryByEmpNo CREATE OR REPLACE PROCEDURE getSalaryByEmpNo(eNo IN NUMBER,
...
2
推荐
4329
阅读
Datastage 循环调度作业实例
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4需求场景：最近数据库在做迁移，同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行，同时需要输入特定的参数。如果基于目前开发DS作业，会遇到如下问题：需要手动去输入参数，同时也需要等该作业跑完之后，在输入下一个参数去跑。这...
2
推荐
3607
阅读
Datastage 实现缓慢变化维实例
前言：本文主要讲解用Datastage 实现缓慢变化维具体步骤，以（Type 2 SCD 保存多条记录，增加时间戳或有效标示区分）为实现目标，至于缓慢变化维理论以及代理键好处都不一一列举。理论部分推荐以下博客去了解：缓慢变化维完全解决方案缓慢变化维的处理 环境信息：版本：IBM InfoSphere DataStage V11.3.1操作系统：linux...
5
推荐
3250
阅读
Datastage 使用Join 采用自定义分区方式注意点
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.41.1 主要功能JoinStage 用于在两个或多个输入数据集合上执行连接操作并输出一个结果数据集。1.2 使用原理JoinStage 通过将两个或多于两个的数据集进行Inner、Left Outer、Right Outer和 Full Outer关联，输出一个结果集。Join的处理遵循关...
2
推荐
2671
阅读
Datastage Oracle Connector 控件批量加载数据
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4使用Bulk Load数据时针对使用数据库Oracle_Connector 控件进行Append 数据加载模式时，要求设置Stage的Index Mode 选项为：1)对于存在唯一索引的，要求在加载数据之后必须重建Index；2)对于非唯一索引类型，可以不重建索引。原因：使用Bulk Load数据时...