2015-11-13报表平台架构信息安全专题交流会

浏览: 2929

1. 集团报表平台的意义
   

建立公共数据模型。通过对数据的规范化定义,实现数据的唯一性、准确性、完整性、规范性和时效性,实现数据的共享共用,解决数据层面的信息孤岛问题;

建立数据交换平台,实现应用系统间的共享数据交换,实现各应用系统到数据平台的数据提取甚至省级数据平台与地市、或者总部的数据交换等功能;

针对具体分析应用,在企业数据仓库的基础上,建立数据集市,为最终用户提供高效的数据查询和分析服务;

也可以建设领导查询系统,实现联机分析处理(OLAP),为公司各级领导提供灵活自由的数据查询和报表生成手段;通过对数据的分析和挖掘,对生产经营过程中相关问题提供辅助决策支持;

实时监控关键性数据,了解实时动态变化;

Clipboard Image.png

2. 集团报表平台的运营模式

组织结构:

Clipboard Image.png


项目过程:

Clipboard Image.png

需求分析阶段:

用户访谈、发放调研表、收集样本数据、编制需求报告

设计阶段:

架构设计、数据模型设计、功能设计、接口设计。并且完成相应设计文档。

例如:《系统设计报告》、《公共数据模型建模报告》、《BI应用功能设计》、《ETL设计报告》、《物理数据库设计报告》等。

环境搭建阶段:

确定硬件需求、编写技术规范书,招标采购,并编制《实施方案》、《应用软件配置方案》、《ETL部署配置方案》、《中间件配置方案》、《数据仓库部署配置方案》等。

系统开发阶段:

开始根据需求进行程序的开发与部署。

系统测试阶段:

根据项目的不同,测试的内容也不同,需要明确了测试工作内容,通常包含开发测试和现场测试2个层面;测试内容包括单元测试、出厂测试、上线功能测试、性能测试等等测试内容。并且需要编制完成《测试用例》、《测试报告》等文档。

系统试运行阶段:

进行整体运行的测试工作,包括接口、数据、系统集成等。

后期技术支持与运维架构:

Clipboard Image.png

服务支持队伍

服务支持队伍可以包括这样一些工作:服务台,事件/问题,变更,版本和配置管理,以及场地和一些非IT设施的管理。

技术支持队伍

技术支持队伍包括这样一些工作:

Ø  存储服务支持

存储管理员负责数据平台尤其是数据仓库存储(备份、归档)的计划,配制,管理及故障排除等工作,并协调数据平台所有其他业务应用系统中有关信息存储的任务,包括数据备份和恢复,数据归档及恢复。具体体现在存储区域网络,本地数据复制应用,远程数据复制,容灾,业务连续性,存储容量的分配,性能监控等任务。其包括以下工作但不局限在这些工作:

²  存储设备的管理和监控

²  数据备份的调度安排和检查

²  数据归档的调度安排和检查

²  存储资源的分配

²  存储资源的计划,报告,分析和调整

²  存储性能的分析,检测和优化

²  存储设备购买方案的技术审定和评估

Ø  网络应用支持

实现对整个网络的设备配置、监控、动态运行分析、安全、问题诊断、流量控制以及虚拟网划分和管理等工作。使网络的运行更能符合企业实际应用的需要,达到网络高速有效的传输和安全可靠的使用。

²  ETL服务支持

²  根据企业业务系统发展的进程,现有数据仓库模型及ETL过程均需要做出相应改变,对应ETL流程内提取业务数据、清理数据、转换数据并装入数据仓库的步骤全部要做出适合的改变,才能为数据分析作好准备;

²  根据企业源业务数据的获取策略,制定相适应的ETL自动化运转流程,减少人为干扰因素;

²  根据数据仓库备份和恢复的流程,协助存储管理员提供必要的帮助,以完成ETL程序及相关内容的备份流程。

Ø  数据仓库服务支持

监控ODS、数据仓库、数据集市的运行状态、日志文件及空间使用情况,并对系统资源的使用情况进行检查,发现并解决问题。监控数据库对象的空间扩展情况,并就数据库做健康检查,寻找数据库性能调整的机会,进行数据库性能调整,并以此提出下一步空间管理计划。

Ø  BI技术支持

根据BI产品的选择不同,完成BI产品服务器的配置管理,根据选择的BI产品服务特性,定制BI服务以适应访问用户的需求。监控功能服务的响应时间,寻找性能调整的机会。

3. 集团报表平台的架构

网络拓扑图:

Clipboard Image.png

逻辑架构图

Clipboard Image.png

Clipboard Image.png

数据平台,借助统一的运行环境对来自不同业务应用的数据依靠统一的开发路线进行抽取、转换和加载,加工形成企业数据仓库和并根据具体的业务需求形成相应的数据集市,在数据集市的基础上进行更高级的业务分析应用,同时将各种来源的数据转化成实用的业务信息,为企业提供完整的数据支撑,实现企业数据的构建、保存、更新、集成、分发与共享。

企业数据平台为企业信息门户提供展现的内容;

两级数据平台通过数据交换平台实现级联;

可以通过应用集成平台实现各业务系统间的集成;

集团数据平台与业务系统是紧密集成的整体,是一体化平台的心脏,为一体化平台提供源源不断的新鲜血液——数据信息。

Clipboard Image.png

1.        数据获取与交换的实现

各种数据源进入数据平台的数据缓冲区有两种方式,即利用ETL工具提供的功能获取数据,和利用数据交换平台提供的数据交换服务进行交换,下面将具体说明。

l  ETL处理的实现

省级公司集中的业务系统的数据、地市分布的业务系统数据、和外部数据,可以经过抽取(Extract)进入数据缓冲区,再经过转换(Transition)和清洗(Cleansing),然后加载(Loading)到数据仓库。

进行转换的目的在于解决源数据可能存在的数据不一致现象,对抽取的源数据根据数据模型的要求,进行数据的转换、清洗、拆分、汇总等处理,保证来自不同系统、不同格式的数据的一致性和完整性。因为当源数据进行抽取后,如果不进行一致性转换,会造成数据无法加载或加载后无法使用。

进行清洗的目的在于检测并删除或改正将装入数据仓库的“脏数据”,使源数据元素化、标准化、并消除重复记录。

l  数据交换服务处理的实现

数据交换服务存在以下应用场景:

a)        省级公司数据平台与总部公司总部纵向数据交换、省级公司数据平台与其他机构的外部系统的数据交换,通过数据交换平台提供的数据交换服务进行实时和非实时交换。

b)        有些准备进入到ODS缓冲区中的数据,包括省级集中业务系统的数据、地市分布的业务系统数据、和外部数据,当无法使用ETL工具获取时,也可以通过数据交换平台提供的数据交换服务进行数据交换的方式,完成采集后,加载并存储到数据仓库中。

2.        ODS区内的数据处理

在图中,ODS区包括数据缓冲区和统一数据视图区。

a)        统一数据视图区主要保存各个业务应用系统中的关键数据,并为以后搭建的业务应用系统提供全局的数据逻辑视图和数据存储平台。并且也可以实现实时监控功能。

b)        数据缓冲区暂存由ETL获取的数据,这些数据经过转换和清洗后加载到数据仓库中。数据缓冲区是为了保证数据移动的顺利进行而开设的阶段性数据存储空间,需要进入数据仓库的各个业务系统的数据首先直接快速传输到数据缓冲区,再从数据缓冲区经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。

从省级公司数据平台数据处理的角度,数据缓冲区是存放各业务系统的原始数据和各个异构系统转入的原始数据,对数据缓冲区的数据进行清洗和过虑,然后面向主题、按数据模型存放数据仓库。

3.        数据仓库区和数据集市区的数据处理

经过清洗、整合后的数据进入数据仓库。数据集市对数据仓库中的基础数据进行逐次聚合,形成目标数据供前端数据应用或展现。数据集市根据省级公司的具体应用需要和数据量建立。

各部门业务应用的数据首先被存储在数据仓库,从数据仓库经过数据集市,细节数据逐步演变为轻度综合和高度综合的数据,其实质是对OLTP系统产生的历史数据进行整合、存储、处理、统计、分析,从而获取关于历史的、目前的、和未来的知识,从而获取信息、支持决策与管理的应用模式。

4.        BI应用的实现

数据仓库、数据集市的数据可以应用于报表、即席查询和OLAP展现;也可以应用于数据挖掘。这些数据应用的数据处理和前端展现主要是通过相应的BI工具完成的。这些BI工具软件的SERVER端部署在APPLICATION SERVER上。

用户使用BI工具客户端经过门户登陆统后,访问BI工具SERVER端,完成访问请求。BI应用与PORTAL集成时,需要重点考虑单点登陆和访问权限集成的实现。系统级访问权限由门户系统控制;数据级范围权限由BI工具与数据库系统共同实现。

5. 关于元数据

元数据包括业务元数据、技术元数据等。元数据是关于数据的数据,是公司数据平台的重要组成部分。元数据在以ODS和数据仓库为中心的数据平台系统中,比在传统操作性的数据库中更重要。

元数据是说明数据的数据,对系统的影响是永久性的,应用软件可以改变、工具可以替换、软硬件基础设施可以升级,但元数据永久保存在系统中(如数据模型)。元数据设计、集成、管理的系统性和规范性,是公司数据平台功能和性能的重要保证。

 

4. 集团报表平台信息安全控制

信息安全目标与原则:

q   进不来

使用访问控制机制,阻止非授权用户进入网络,“进不来”

q   拿不走

使用授权机制,实现对用户的权限控制,即不该拿走的,“拿不走”;

q   看不懂

使用加密机制,确保信息不暴漏给未授权的实体或进程,即“看不懂”;

q   改不了

使用数据完整性鉴别机制,保证只有得到允许的人才能修改数据,而其它人“改不了”;

q   走不脱

使用审计、监控、防抵赖等安全机制,使得攻击者、破坏者、抵赖者"走不脱"

集团数据平台建立完成后,信息的安全控制尤为重要,其实可以通过门户来进行权限的控制,以及数据的访问控制,另外也可以通过报表应用的权限,对数据信息的权限进行控制与授权。

企业门户是一种能够为从事各种类型工作的用户提供全面的服务支持,一个为消除信息孤岛、构建知识管理体系、提高决策支持能力的全新信息化平台。依靠此平台,可以轻松的将分散的信息资源和内容整合到一起。

      企业门户系统提供统一的信息访问渠道(单点登录);提供基于角色和权限的个性化的信息、知识、服务和应用,不仅可以集成信息资源,也可以集成企业应用;

也可以采用不同的模式来进行访问,下图为其中两种访问模式:

 

1、省公司建设实体门户,地市公司全部建设虚拟门户。在地市公司部署独立的访问控制。

用户与身份维护工作均集中在省公司


Clipboard Image.png
2、省公司和地市公司均建立实体门户和独立的目录系统。用户与身份维护均在地市进行。

Clipboard Image.png

3、其中门户也可以对于应用,分析等功能进行集成,进行权限进行控制。这里涉及到单点登录,用户同步等技术功能。

Clipboard Image.png

推荐 9
本文由 逆光 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

7 个评论

好多呀,好详细。
老师辛苦啊。持续关注。
岩哥,帮你把目录结构调整了下,有导航,看着舒服。。标题加了日期。。
逆光

逆光 回复 梁勇

辛苦梁总。。。
坐等今晚分享学习。
好文必须推荐。经典之作。
不错,非常详细。

要回复文章请先登录注册