ETL如何做优化

0
求一个例子?优化过程中都需要注意哪些细节问题?
已邀请:
0

梁勇 - 天道酬勤、上善若水。爱好商业智能 2014-10-22 回答

ETL优化大的方面可以从以下三方面考虑
1、优化数据源
2、数据流优化
3、插入性能优化

优化数据源
(1) 删除不需要的列; (2) 优化数据源查询; 2清除隐藏的操作 (1) 只在必要的时候进行列的解析或转换; (2) 清除不必要的日志记录;

数据流优化
(1)使用索引; (2)清楚不必要的操作 (3) 将查找引用配对; 避免使用“select * from ” (4)近可能的在SQL Server中执行以数据集为基础的操作。例如:在SQL Server中比“排序”转换组件速度要快,特别是有索引时 (5) 有些开销比较大的组件慎用:如:OLEDB命令、模糊查找、数据转换、导出列/到入列、字词查找。 (6)消除“聚合”,“查找”,“排序”操作 SSIS优化----数据流优化


插入性能优化
(1) 使用“SQL SERVER 目标”适配器; (2)关闭约束; (3)删除“日志记录”; (4) 再加载时考虑禁用索引;

要回复问题请先登录注册