浅谈ETL批量作业调度平台的九大技术特征

浏览: 3349

       不同于批量作业系统,ETL批量作业调度系统并不受制于具体业务运行系统。也就是说,它可以是一个与业务完全无关的、独立运行的技术平台。它应该满足如下特性:

1、支持跨平台调度批量作业:无论是Windows、linux、aix、hp-ux、saloris或者其它虚拟云环境。都采取相同的方式来统一调度管理。

2、具有企业级特性:支持企业级的网络技术环境,如多级代理,跨网段,跨域等复杂的分布式网络环境。还需要支持HA高可靠性以及负载均衡。

3、统一的作业定义:无论是何种作业类型,都可以采用统一的方式进行定义,调度和监控运维。并可支持作业类型的扩展应用。

4、完善的调度控制策略:除了支持一般的作业间的串并关系,依赖互斥外,还应支持时间计划、容错、循环、自定义条件等其它高级控制策略。

5、全方位监控运维管理:具备批量作业系统重要业务逻辑可视化展示功能。提供流程图实时监控,多维度统计监控,实时消息事件监控。让管理运维人员及时、清楚地了解到批量系统运行状况。

6、作业调度分析能力:具备作业及作业流历史运行日志、异常日志查看功能。并对作业为什么不运行作出准确分析。同时还应具备历史回放,运行预测等分析功能。

7、全面的人工干预:能够手动运行任意作业或作业流的任意分支。以及作业流断点调试,启用禁用作业,忽略、中止、重跑作业等。

8、多渠道应用能力:在现今云应用如此普遍的情况下,最好能支持多渠道的应用环境,如web应用端和手机APP应用端等。

9、用户资源权限管理:ETL项目通常是在技术团队合力之下完成的。因此,不仅要从调度平台系统功能本身,最好能支持从ETL调度业务资源上去划分不同的用户角色权限,以便于更好的适应团队项目管理。

        因此,批量作业调度系统不仅仅是一个统一的批量作业驱动中枢,它还是一个统一的批量作业应用管理平台。统一的驱动中枢能充分屏蔽各个作业,各个批量系统间的技术差异,并能成倍提升批量系统的处理能力,保障各个批量系统的稳定性。统一的应用管理能降低系统升级,整合风险,提升技术团队的业务分析能力,进一步提高实施效率,节约更多的人力成本。

推荐 0
本文由 taskctl 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册