ETL如何做优化
0
求一个例子?优化过程中都需要注意哪些细节问题?
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
没有找到相关结果
1 个回复
梁勇 - 天道酬勤、上善若水。爱好商业智能 2014-10-22 回答
赞同来自:
1、优化数据源
2、数据流优化
3、插入性能优化
优化数据源
(1) 删除不需要的列; (2) 优化数据源查询; 2清除隐藏的操作 (1) 只在必要的时候进行列的解析或转换; (2) 清除不必要的日志记录;
数据流优化
(1)使用索引; (2)清楚不必要的操作 (3) 将查找引用配对; 避免使用“select * from ” (4)近可能的在SQL Server中执行以数据集为基础的操作。例如:在SQL Server中比“排序”转换组件速度要快,特别是有索引时 (5) 有些开销比较大的组件慎用:如:OLEDB命令、模糊查找、数据转换、导出列/到入列、字词查找。 (6)消除“聚合”,“查找”,“排序”操作 SSIS优化----数据流优化
插入性能优化
(1) 使用“SQL SERVER 目标”适配器; (2)关闭约束; (3)删除“日志记录”; (4) 再加载时考虑禁用索引;