3
推荐
2917
阅读
Oracle 统计信息未及时收集导致Sql性能问题
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4场景：测试环境，查询存储过程运行监控日志发现，其中有报错信息如下：ERROR CODE -1652: ORA-01652: 无法通过 128 (在表空间 TEMP1 中) 扩展 temp 段。同时执行脚本查看占用产生临时段的sql_id，测试环境临时表空间共两个数据文件，为62个G ，而执行该脚本便占用了60...
2
推荐
1897
阅读
Oracle 登录数据库遭遇ORA-00257错误解决
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4问题描述：开发人员通过PLSQL Developer 连接数据库报错，截图如下：问题原因：登录SYS用户查看V$FLASH_RECOVERY_AREA_USAGE 视图，发现归档日志满了。select * from V$FLASH_RECOVERY_AREA_USAGE;问题解决：清除oracle归档日志参考脚本：按照各自的需要去实施。expor...
2
推荐
2998
阅读
Oracle 错误执行计划导致性能问题
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4前台：Mstr场景：昨天开发组反馈，之前平常执行时间只需要26秒的存储，结果当前执行时间变成了35分钟。怀疑可能是环境资源被占用导致，当然也有其他问题原因比如表对应的数据量猛增，或者错误的执行计划等造成执行时间变慢等原因。当时查看临时表空间被占用情况，发现...
1
推荐
2886
阅读
Oracle 11gR2 手动创建数据库实例
前言：业务系统oralce 数据库版本为10gR2，同时字符集为ZHS16GBK，而中间库对应的版本是11gR2 同时字符集为UTF8，由于 数据库字符集在创建数据库时指定，在创建后通常不能更改。所以中间库需要新增定义以字符集为ZHS16GBK的实例。注释：新增SID：hsdb1步骤：1登录终端，并切换至Oracle 用户Connecting to 10.7.101.24:22...
1
推荐
3271
阅读
Oracle 函数优化 之 Deterministic及Result Cache
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4场景：生产环境通过查看执行次数最多的Sql脚本 ，发现其中有一条Sql 执行了共2463031703 ，（虽然v$sqlarea中executions 字段含义 执行Sql的总数，总额超过所有子游标。但考虑到该Sql 最近上线,所以觉得可疑）。下面是通过将调用该条Sql的函数改写为确定性函数 以及&n...
3
推荐
2033
阅读
Oracle 根据需求做优化案例一则
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4场景：最近重新读梁敬彬老师 基于案例学习SQL优化课程，在忽略SQL改造等价性 在案例中有一个 看似不等，其实相等的 案例，在巡检目前生产环境也有相似情况，特记录下。begin
select count(*) into v_cnt from t1 ;
if v_cnt>0
then …A逻辑….
else
then …...
1
推荐
2370
阅读
Datastage 读取CSV文件,遭遇字段数据无法找到分隔符问题解决
环境信息：版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4问题描述：在从CSV文件抽取数据的时候，在日志里面查询预警信息如下： Delimiter for field "INVESTMENTSTRATEGY" not found 导致部分数据无法加载。问题原因：经过查询该字段INVESTMENTSTRATEGY 数据 存在换行，导致DS无法正常读...
6
推荐
3252
阅读
基于ETL工具实现数据增量抽取方案
环境信息：版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4数据库版本：Oracle 11.2.0.4.0主要内容本文主要讲解，企业级数据仓库基于ETL工具实现增量加载业务系统数据方案。数据流程图具体数据流程图：实现方案1.数据量相对比较小，100W级别以下。根据日调度，实现前后两天通过文件对比，获取相应增...
1
推荐
2253
阅读
Oracle 增加表空间数据文件遭遇ORA-19502错误
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4问题描述：生产环境作业跑批的时候报错，遇到ORA-01691 即表空间无法扩展。查看表空间，发现该表空间确实满了，处理办法需要在该表空间下增加数据文件。但在执行脚本的时候遭遇ORA-19502问题分析：这个问题是由于硬盘空间满了造成，同时定位是由于oracle的系统跟踪文...
2
推荐
3647
阅读
Datastage 实现缓慢变化维实例
前言：本文主要讲解用Datastage 实现缓慢变化维具体步骤，以（Type 2 SCD 保存多条记录，增加时间戳或有效标示区分）为实现目标，至于缓慢变化维理论以及代理键好处都不一一列举。理论部分推荐以下博客去了解：缓慢变化维完全解决方案缓慢变化维的处理 环境信息：版本：IBM InfoSphere DataStage V11.3.1操作系统：linux...
6
推荐
3050
阅读
Datastage 作业报错及其处理集合之Change Capture
前言：在新的公司一直很难定位自己的角色，基本涉及到 ETL组，模型组，运维，报表优化。等这些相关工作基本都会参与。想着正好借助这些平台资源环境，把ETL组 Datastage 测试及投产环境遇到的一些问题，和相应的处理方法，放到这个博客中。供那些遇到相似问题的同行借鉴。虽不能保证每个处理方法都是最佳的，但可以保证...
2
推荐
2761
阅读
Oralce 优化之避免SQL中函数调用(提防递归调用)
版本：Oracle 11.2.0.4.0操作系统：linux redhat 6.4场景：最近前台报表组反馈，某些报表查询基本跑不出数据。经过优化和改写最终实现 最初跑不出数据 到20分钟 到24秒。优化思路：将视图转换成事实表，并且对SQL中调用的函数，等价改写成多表关联语句。避免产生大量的递归调用。需要掌握：学会等价改写Sql，Sql中...
5
推荐
4097
阅读
Datastage 使用shell脚本结合Sequence 实现调度案例
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4场景：公司之前没有特定的调度工具来承载，Datastage 作业调度。导致就有了下面这一篇，关于用shell 结合Datastage Sequence 实现调度。shell 脚本主要用来1 ：获取参数:（前后两天，为了做增量加载）2：DWI 中间落地，（自动创建文件）3：重置...
6
推荐
4778
阅读
ODS系统基于存储过程实现数据清洗实例
场景：由于公司目前没有特定的产品去实现关于数据清洗，目前只能通过对应的存储过程方式来做处理。整个ETL实现流程图如下：业务提供清洗规则：具体实现方案：按照业务规则，需要对数据缺失值做清洗，对数据范围值域做清洗，非数值清洗，非日期值做清洗，包括空格清洗做相应处理。对需要做数据清洗的表字段和特定业务校验...
5
推荐
3900
阅读
Datastage 日志文件损坏造成作业Hang住，解决
版本：IBM InfoSphere DataStage V11.3.1操作系统：linux redhat 6.4问题描述：在生产环境，发现有个作业报错，打开的时候一直Hang住，通过Director 打开该作业，显示如下：问题解决：登陆DS账户，找到对应该日志目录，RT_LOG514/ds/informationServer/Server/Projects/ODS将该文件备份，之后在删除重建，即可解决。当然...