Datastage

Datastage

0
投票
1
回答
280
浏览

Datastage 11 的问题

xiaoliuzi 回复了问题 • 2018-04-30 21:07
0
投票
0
回答
535
浏览
0
投票
2
回答
4846
浏览

datastage客户端登陆时报错

清风吹雪 回复了问题 • 2017-11-05 16:39
0
投票
3
回答
782
浏览
0
投票
0
回答
463
浏览
0
投票
0
回答
376
浏览
0
投票
0
回答
271
浏览
0
投票
0
回答
305
浏览
条新动态, 点击查看
ds 没有主从机概念吧?  最好有个调度程序来管理ds job, 当一个ds server挂了后, 调度程序就应首先获知, 然后由调度程序更新所有相关的node 配置, 这样就不往该ds server配工作
ds 没有主从机概念吧?  最好有个调度程序来管理ds job, 当一个ds server挂了后, 调度程序就应首先获知, 然后由调度程序更新所有相关的node 配置, 这样就不往该ds server配工作
在作业进去后, 先以异步方式启动一个监控shell, 并获取ds job的pid, shell 脚本超过15分, 就根据ds job pid 杀掉 ds job
在作业进去后, 先以异步方式启动一个监控shell, 并获取ds job的pid, shell 脚本超过15分, 就根据ds job pid 杀掉 ds job
1. ulimit设置
root,dsadm和其他datastage用户的ulimit设置过低。
从javacore可以看到
1CIUSERLIMITS  User Limits (in bytes except for NOFILE and NPROC)
N... 显示全部 »
1. ulimit设置
root,dsadm和其他datastage用户的ulimit设置过低。
从javacore可以看到
1CIUSERLIMITS  User Limits (in bytes except for NOFILE and NPROC)
NULL           ------------------------------------------------------------------------
NULL           type                            soft limit           hard limit
2CIUSERLIMIT   RLIMIT_AS                        unlimited            unlimited
2CIUSERLIMIT   RLIMIT_NPROC                          1024                10240
请将其相应调大,如10240.
使用ulimit -u 10240可以临时调大但是重启之后会失效。您可以百度一下针对您的操作系统ulimit设置永久生效需要修改的文件,或者联系您的操作系统管理员。
比如其中一种方法为
- 修改/etc/security/limits.d/90-nproc.conf文件
*        soft    nproc     10240
root     soft    nproc     unlimited
*指所有用户
- 修改/etc/security/limits.conf文件,增大dstage组nproc 的soft和hard limit
@dstage     soft    nproc      10240
@dstage     hard    nproc      20480
- 重启系统
 
解决问题
首先确认下:
通过 ping DataStage 服务器地址来验证 DataStage 登录屏幕中的服务器名称
验证端口号是否正确

17254
 

2确认,hosts 文件中是否添加 IP 和对应的服务器名称
导致无法连接服... 显示全部 »
解决问题
首先确认下:
通过 ping DataStage 服务器地址来验证 DataStage 登录屏幕中的服务器名称
验证端口号是否正确

17254
 

2确认,hosts 文件中是否添加 IP 和对应的服务器名称
导致无法连接服务器的原因还可能是客户机 hosts 文件中的某个条目不正确。 可能是 hosts 文件中 DataStage 服务器的 IP 地址错误,或者客户机没有有效的服务器条目。请更正 hosts 文件中 DataStage 服务器的条目。
 
WINDOW 客户端 
 C:\Windows\System32\drivers\etc 
 

17255
 





 
如果是对应两个表的话,加个过滤组件
只有一个目标表,组件直接有这个功能的
如果是对应两个表的话,加个过滤组件
只有一个目标表,组件直接有这个功能的
https://ask.hellobi.com/blog/Zeehom/2997
https://ask.hellobi.com/blog/Zeehom/2997
查看下环境变量。需要在DS 服务器上文件dsenv 配置Oracle 路径。
查看下环境变量。需要在DS 服务器上文件dsenv 配置Oracle 路径。
李东岳

李东岳 回答了问题 • 2016-09-06 18:57 • 2 个回复 不感兴趣

datastage连接mysql报错

赞同来自:

1.判断服务是否能够正常启动
2.驱动是否加载
1.判断服务是否能够正常启动
2.驱动是否加载
参考获取参数
https://ask.hellobi.com/blog/Zeehom/2997
参考获取参数
https://ask.hellobi.com/blog/Zeehom/2997
你是怎么设置的? insert? update? insert then update? 有没有主键? 有没有其他进程在处理目标表?
你是怎么设置的? insert? update? insert then update? 有没有主键? 有没有其他进程在处理目标表?
https://ask.hellobi.com/blog/Zeehom/2997
https://ask.hellobi.com/blog/Zeehom/2997
可以的,在Administrato设置变量,作业参数直接引用就可以了。
注意格式为:#$用户名变量名称#    #$密码变量名称#
可以的,在Administrato设置变量,作业参数直接引用就可以了。
注意格式为:#$用户名变量名称#    #$密码变量名称#
你把报错日志发一下。字段个数100多个不会引起报错的,可能是字段类型,或者字段设置长度等问题。
你把报错日志发一下。字段个数100多个不会引起报错的,可能是字段类型,或者字段设置长度等问题。
 1 可以通过查看DS资料库 执行SQL 去查询,客户端没有命令窗口执行脚本查看作业何时运行。
https://ask.hellobi.com/blog/Zeehom/4441
 
 

32867
  显示全部 »
 1 可以通过查看DS资料库 执行SQL 去查询,客户端没有命令窗口执行脚本查看作业何时运行。
https://ask.hellobi.com/blog/Zeehom/4441
 
 

32867
 
1
推荐
906
浏览

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") E...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-11-21 10:23

3
推荐
1186
浏览

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账户:scott  创建存储过程名 getSalaryByEmpN...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-15 11:44

2
推荐
1040
浏览

Datastage 循环调度作业实例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:最近数据库在做迁移,同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行,同时需要输入特定的参数。如果基于目前...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-14 13:45

5
推荐
1110
浏览

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Enterprise)进行Append 数据加载模式时,要求设置Stage...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-01 00:00

0
投票
1
回答
280
浏览

Datastage 11 的问题

xiaoliuzi 回复了问题 • 2018-04-30 21:07
0
投票
0
回答
535
浏览
0
投票
2
回答
4846
浏览

datastage客户端登陆时报错

清风吹雪 回复了问题 • 2017-11-05 16:39
0
投票
0
回答
463
浏览
0
投票
0
回答
376
浏览
0
投票
0
回答
271
浏览
0
投票
0
回答
305
浏览
2
推荐
868
浏览

Datastage write failed: Output file full 解决

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0问题描述: 1.APT_CombinedOperatorController,0: Fatal Error: Tsort mergeraborting: Scratch spac...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2017-03-31 15:05

2
推荐
908
浏览

Datastage 利用Notification_Activity 发送邮件实现监控(含具体作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:在DS调度,我们可以用DS自带的发送邮件控件去,对报错或者预警的作业来进行监控。方便及时维护或处...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2017-03-24 13:10

3
推荐
818
浏览

Datastage 配置Odbc 连接Hive (内含实现作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:需要将数仓的表数据,加载到Hive 数据库供 Spark 分发数据。虽然测试成功,但是经过测试效率太慢。...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2017-03-20 20:35

1
推荐
906
浏览

Datastage 利用Server Job 调度作业

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4步骤:创建Server job 点击Job 属性ProPerties在Job Control 中增加以下代码ETL_DATE=Ereplace(Oconv(date(),"D4YMD[4,2,2]"),"/","") E...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-11-21 10:23

1
推荐
820
浏览

Datastage 常用命令(持续更新)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库:Oracle 11.2.0.4.0运行 dsjob 命令,以启动作业、停止作业、设置作业别名和访问其他功能。开始之前1.确保 dsjob ...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-10-14 11:10

1
推荐
648
浏览

【血的教训!】DataStage9.1 connector控件解析SQL语句的小bug

1. 如果SQL中出现中文括号(应该不止括号)时,如:where length(a) = 10DataStage不会报错,也不会生效,也就是说这个条件会被DataStage忽略。而你copy到plsql中是可以解析的,这也就是为什么我搞了半天没找问...

老头子 发表了文章 • 2016-08-29 10:31

1
推荐
801
浏览

DataStage 日志等级设置及其节点配置管理

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4前言:对于一些复杂的DS作业,我们在遇到作业报错或预警,甚至得到的结果与我们想象的不一致时,会通过分析跟踪日志来做相应问题处理方法。本...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-08-11 15:40

0
推荐
460
浏览

DataStage作业锁的问题

方法一:用管理员用户登录DataStage Administrator ,打开对应PROJECT的【命令(M】,执行 LIST.READU 查看Locks ,通过最后一列item id找到被锁的对应的作业名,执行下面命令解锁UNLOCK USER Userno ALL  ...

南极人K 发表了文章 • 2016-07-28 11:47

3
推荐
849
浏览

DS Stored Procedure阶段,不支持NVARCHAR类型定义

前言关于对博客内容有疑问或者有好的建议,都可以在评论里面讨论。我会第一时间回复。谢谢版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库版本:Oracle 11.2.0.4.0技术说明:技术说明(...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-21 12:28

1
推荐
818
浏览

DS Transformer Stage 之 字段逻辑运算及判断

前言:本系列会参照浅析 Transformer Stage 在 DataStage 作业中的用法及功能实现中对DS 中 Transformer Stage 在工作中作用及相应的案例。环境:版本:IBM InfoSphere DataStage V11.3.1操作系统:linux re...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-20 12:41

3
推荐
1186
浏览

DataStage 调用存储过程(含输入输出参数)

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:DS调度数据库中存储过程,需要带入输入输出参数。环境准备:数据准备数据库账户:scott  创建存储过程名 getSalaryByEmpN...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-15 11:44

2
推荐
554
浏览

Datastage在使用ODBC导入mysql表,报错BCI Error, data has been truncated

今天在使用ODBC导入mysql定义表的时候,会报BCI Error, data has been truncated,实际底层表都是有数据的,如图二 经测试,是因为表定义的时候comment有中文,去掉中文comment就可以成功导入

楚天歌 发表了文章 • 2016-07-15 09:54

2
推荐
1040
浏览

Datastage 循环调度作业实例

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4需求场景:最近数据库在做迁移,同时需要对新迁移程序进行初始化。初始化跑批作业由存储过程调用执行,同时需要输入特定的参数。如果基于目前...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-14 13:45

1
推荐
743
浏览

Datastage 登陆报错问题解决

版本:IBM InfoSphere DataStage V11.3.1操作系统:linux redhat 6.4数据库:Oracle 11.2.0.4.0问题描述登陆DataStage客户端 报错信息如下:无法连接至DataStage伺服器: hostname,项目: ProjectName (连接已...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-04 21:18

5
推荐
1110
浏览

Datastage 作业开发规范说明

前言:以下是工作中关于Datastage 开发过程中必须以及应该注意的规范事项。1.关于直接路径加载规范说明:针对使用数据库Oracle链接类Stage (Connector ,Enterprise)进行Append 数据加载模式时,要求设置Stage...

我是最优雅的杀手,不杀人专杀狗 发表了文章 • 2016-07-01 00:00

  
IBM DataStage提供了图形框架,您可使用该框架来设计和运行用于变换和清理数据的作业。
依靠您具有许可证的那些产品,您可以开发可变换和清理数据的并行作业、可变换数据的服务器作业以及可变换数据的大型机作业。并行作业和服务器作业在 IBM InfoSphere Information Server 引擎上运行。 大型机作业将生成可在大型机上运行的 COBOL 代码。