ETL日常优化以及性能提升(二)

浏览: 1548

接下来主要说的是我们在使用组件时的一些参数的设置,对于mapping的调优,首先应该是逻辑上的问题,还有就是要注意会影响速度的组件,通常都会出现在lookup、joiner、aggregator类似的组件中,尤其在数据量非常大的时候,我们可以手工修改他们的cache,尽量减少io。另外就是Joiner、aggregator组件 sorted的用法,在分组之前排好序,会提高aggregator的速度,所以,对于单个mapping的优化有时要针对瓶颈组件增加大量的cache ,以及在session中提高dtm,而像公式组件基本就会很快的执行完毕,基本都是边进边出,所以在我们可以利用类似公式组件去替代的时候,也可以通过这样的方式去替代一些运行比较慢的组件。

另外就是我们的Session调优,因为我们运行时是一Session为单位,所以Session内存值也是可以进行调优的,一个是DTM,一个是Transformation Cache,这个值的设定并不是针对所有的Session,而只是针对当前的,所以我们根据当前Session的情况,合理设置。


推荐 1
本文由 逆光 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册