要选就选S型博客专栏

If you can't explain it simply,you don't understand it well enough

1
推荐
2457
阅读

SQL Server 动态行转列实现

背景需求由于数据表的行数据,会随着系统不断增加,为了减少开发成本,特实现动态行转列脚本实现。代码实现DECLARE @sql_str NVARCHAR(MAX) DECLARE @sql_col NVARCHAR(MAX) DECLARE @tableName SYSNAME --行转列表 DECLARE @groupColumn SYSNAME --分组字段 DECLARE @row2column SYSNAME --行变列的字段 DECLARE @row2...

发表了文章 • 2018-03-20 10:46 • 0 条评论

1
推荐
6056
阅读

MySql实现Merge Into 功能代码

需求描述INSERT ... ON DUPLICATE KEY UPDATE SyntaxIf you specify an ON DUPLICATE KEY UPDATE clause and a row to be inserted would cause a duplicate value in a UNIQUE index or PRIMARY KEY, an UPDATE of the old row occurs. For example, if column a is decl...

发表了文章 • 2018-03-19 11:04 • 0 条评论

2
推荐
4388
阅读

Hive建表报错问题解决

1:环境信息:2:问题描述在Hive中创建表报错,报错信息如下:建表脚本:CREATE TABLE DET_SPM_PARTS_PROVIDE_DAY_DETAIL( JULIAN_DAY_KEY INT , STATION_ID VARCHAR(12) , SOURCE_CITY VARCHAR(200) , PROD_LINE VARCHAR(50) , ORDER_TYPE VARCHAR(32) , TA TIMESTAMP, TB TIMESTAMP, ORDERS I...

发表了文章 • 2017-11-10 15:58 • 2 条评论

2
推荐
3730
阅读

Datastage write failed: Output file full 解决

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0问题描述: 1.APT_CombinedOperatorController,0: Fatal Error: Tsort mergeraborting: Scratch space full2.APT_CombinedOperatorController,1: write failed: Output filefull, and no more output files场...

发表了文章 • 2017-03-31 15:05 • 0 条评论

3
推荐
3901
阅读

Datastage 利用Notification_Activity 发送邮件实现监控(含具体作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:在DS调度,我们可以用DS自带的发送邮件控件去,对报错或者预警的作业来进行监控。方便及时维护或处理。控件知识:使用“通知”阶段来指定关于电子邮件通知活动的信息。 名为 dssendmail_template.txt 的电子邮...

发表了文章 • 2017-03-24 13:10 • 1 条评论

3
推荐
2474
阅读

Datastage 利用Surrogate_Key_Generator 生成代理键(内含具体作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:目标表需要生成代理键。控件介绍:Surrogate Key Generator 阶段是生成超大字符集键列并维护键源的处理阶段。超大字符集键是并非从其表示的数据派生的唯一主键,因而对数据的更改不会更改主键。在星型模式数...

发表了文章 • 2017-03-23 20:12 • 1 条评论

3
推荐
3105
阅读

Datastage 配置Odbc 连接Hive (内含实现作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:需要将数仓的表数据,加载到Hive 数据库供 Spark 分发数据。虽然测试成功,但是经过测试效率太慢。最后将数据存放到Hdfs  Hive 做外部映射表实现。另外DS11.5版本已经提供链接Hive 接口,同时支持链接Hi...

发表了文章 • 2017-03-20 20:35 • 4 条评论

4
推荐
1557
阅读

新的一年又要开工了

新的一年又要开工了,对过去的一年做下总结,对新的一年也有新的期待。2016年的工作总结上半年主要1.公司ETL开发规范化并实现调度实时监控,实现数据整合及完成源清洗及数据集市层逻辑校验2.通过与IBM技术顾问学习实现DataStage技能的提升下半年主要4:角色的转变:由ETL和建模组长变成项目负责人5:项目也由传统数仓转变基...

发表了文章 • 2017-02-04 11:00 • 1 条评论

3
推荐
2619
阅读

IBM InfoSphere DataStage 官方文档共享

附件为IBM InfoSphere DataStage资料 ,对于喜欢研究Datastage的朋友,可以下载查看翻阅。文档名称:

发表了文章 • 2016-12-29 21:43 • 0 条评论

2
推荐
2453
阅读

利用Datastage 对 Hadoop HDFS 文件 执行读写(内含实现作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0介绍:在DataStage中,可通过File Connector组件或Big Data File组件来连接Hadoop平台,从而将传统RDBMS数据库或本地文件中的数据加载到HDFS。比较而言,Big Data File组件支持IBM BigInsights,提供更佳的读写性能...

发表了文章 • 2016-11-25 10:35 • 1 条评论

1
推荐
3882
阅读

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") ETL_DATE_L=Ereplace(Oconv(date()-1,"D4YMD[4,2,2]"),"/","") 为获取系统时间变量值。Etl_Date 和Etl_Dat...

发表了文章 • 2016-11-21 10:23 • 0 条评论

0
推荐
2472
阅读

DataStage 配置CDC 实现数据实时处理

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库:Oracle 11.2.0.4.0前言:之前和IBM同事参与CDC和Datastage结合,打造数据实时性。虽然最后可以满足数据时效性,但是代价也是相对的,24小时不停的监控,这样也是耗性能的。          也不由得感...

发表了文章 • 2016-11-08 09:30 • 0 条评论

1
推荐
3178
阅读

Datastage 常用命令(持续更新)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库:Oracle 11.2.0.4.0运行 dsjob 命令,以启动作业、停止作业、设置作业别名和访问其他功能。开始之前1.确保 dsjob 位于 PATH 环境变量中。以下目录是 dsjob 的缺省目录:Windowsopt/IBM/InformationSer...

发表了文章 • 2016-10-14 11:10 • 0 条评论

1
推荐
3761
阅读

配置 IBM InfoSphere DataStage Operations Console

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4查看是否注册DSODB 这个用户目录:/ds/informationServer/ASBServer/bin脚本:-sh-4.1$ ./RepositoryAdmin.sh -listRepositories Sep 22, 2016 10:42:16 AM com.ibm.xmeta.pm.orm.impl.LegacySessionManager cleanupLocks INFO: Clearing abandoned ...

发表了文章 • 2016-09-30 13:25 • 0 条评论

2
推荐
2112
阅读

DataStage 配置ODBC

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4步骤1注: XXXXX 根据环境,自己去修正。 --以DB2配置为例。dsadm 用户修改 /opt/IBM/InformationServer/Server/DSEngine/.odbc.ini 例如: [DB_RT_T1] --自己定义DB Driver=/opt/IBM/InformationServer/Server/branded_odbc/lib/VMdb200.so Descript...

发表了文章 • 2016-09-13 18:23 • 0 条评论