数据中心平台建设方案.doc

《数据中心平台建设方案.doc》由会员分享，可在线阅读，更多相关《数据中心平台建设方案.doc（20页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、数据中心平台建设方案数据中心建设可以分为三个阶段，第一个阶段主要是公共数据库的建设，其目标是集成学校现有和即将建设的应用，标准化学校的相关数据，提供部分针对具体业务的查询和报表。第二阶段主要是数据库应用建设，其目标是对学校的数据资产进行盘活，提供面向全局的数据展示服务。第三阶段主要是数据仓库建设，其目标是根据学校的具体需求和数据情况提供高层次的数据服务，加强学校的核心竞争力。公共数据库平台的建设须依据数据中心整体架构，考虑未来数据应用需求，建设一个面向未来的、先进的数据平台。数据中心实现数据存储、数据交换、数据服务、数据处理功能，主要为学校的数据集成与应用提供一个综合性的支撑平台，数据中心应基

2、于学校的具体需求建设，面向学校的综合信息服务，为未来构建新的业务应用提供强大的数据平台和服务平台。智慧校园系统的数据交换系统将通过CIF（客户信息系统）传输层（JMS接口，JAVA消息服务接口）的数据交换方式在区域内、代理之间通过两种方式共享数据：发布/订阅和请求/应答。代理将订阅者感兴趣的数据变化（CIF_Event消息）发送给区域综合服务，从而实现发布过程。代理也可以向区域综合服务发送CIF_Request消息，请求应答结果，最后将收到一个或多个CIF_Response 应答消息，实现与教育资源网、CMIS系统、教委体系原有应用系统或机构信息系统、新构建的应用系统之间进行快速、安全的数据交

3、换。如下图所示：数据中心建设重点分为以下三个方面：l 建设全局数据集成与应用集成中心数据中心以数据的集成与应用的集成为目标构建综合性的学校应用中心，使业务系统完成从以技术为中心向以数据为中心的方向转变。l 提供多角度、多层次的数据服务数据中心基于开放的标准与规范，通过OLTP（联机事务处理）、OLAP（联机分析处理）数据处理相结合的手段实现各种数据服务，使学校业务和管理系统在战略层面、战术层面、操作层面、运营层面都能为相关各类用户提供更好的支持和服务。l 保护投资，增强现有应用数据中心对现有的信息技术资产具有兼容性，可以保护已有投资、避免重复构建，提供对专有系统的集成能力，提高已有系统和新系统

4、的可靠性、模块化、可扩展性、可伸缩性和稳定性。 1.1.1. 技术路线数据交换平台是智慧校园核心技术支撑平台的重要组成部分，是整个系统的信息传输、信息交换总线。通过数据交换平台将各业务系统数据库中需集成的数据自动上传到共享数据库中，并按各业务系统的订阅需求将共享数据分发到各业务系统，从而实现数据的统一集成和标准化，为提供数据的综合查询、统计分析奠定数据基础。同时，保留各业务系统的原有数据库，确保各业务系统的完整性。目前，数据交换平台底层技术的选择有两种技术路线：一种是单纯满足数据交换需求，强调数据集成能力，简化适配器开发，例如Oracle数据集成器（ODI）；另一种是采用EAI（Enterpr

5、ise Application Integration，企业应用集成）方案，在SOA（Service-Oriented Architecture，面向服务的体系结构）架构模式下，实施服务总线ESB（Enterprise Service Bus，即企业服务总线），强调设计架构，需要大量开发适配器，但是能为学校奠定一个有效的SOA架构基础，并且从数据集成开始做起，积累经验，例如SUN CAPS就是这样的解决方案。首选方案是以CAPS为基础的服务总线模式设计，同时不局限于CAPS的能力，还参考了EAI领域的Tibco、Vitria等知名公司的解决方案。超越CAPS的这部分功能需要另外开发实现。1.1

6、.2. 设计要点根据中小学的实际情况和需求，数据交换平台设计应该考虑以下要点： 1、 遵循统一的数据交换标准数据交换平台的目的是在数据中心和各业务部门原有业务系统之间交换数据。由于各业务系统的技术构架和信息表示不同，要在这些系统之间交换数据，首要的问题就是定义一种标准的数据格式及数据交换的规范，以方便实现不同硬件平台、不同操作系统平台、不同语言平台应用之间的平滑通信。2、 支持异构系统、异构数据库的交互及数据存取数据交换首先涉及到如何与各部门、各异构系统及其异构数据库进行交互，实现数据的存取。能够对各部门、各业务系统的数据库定义数据抽取规则，从而实现自动地从各级部门的数据库或相应业务系统中抽取

7、共享数据库所需的数据。数据存取的需求具体可归纳为：l 支持多种异构数据库，如主流的关系型数据库包括：Oracle、SQL Server、DB2、Sybase等；l 集成各种异构的业务系统，通过接口实现应用交互和数据存取，如WebService接口、文本型数据库接口；l 能够根据定义和规则，自动捕获数据的更新和变化。3、信息传输l 支持灵活的数据交换方式：可以根据不同部门的情况，对于不同类型的数据有不同的更新要求，可分别采取多种数据上传的方式，比如，对于信息变更频繁的数据，能够实现实时更新；而对校园中变动不是很频繁的数据，如人事数据、设备数据，则实现定时更新，如可定义每日上传一次，或每周一次。对

8、于数据上传的时间，也可灵活定义，如为了避开网络高峰，减少对系统的影响，可定义在晚间及凌晨等系统和网络均比较“空闲”的时候来进行数据的同步。l 大数据量的支持。l 支持跨平台、跨多种网络模式的分布式数据交换。l 可靠和安全。4、数据转换平台能够适应各系统数据内容和格式的变化，提供可视化的转换配置界面，并实现各系统数据与中心标准数据之间灵活的转换。5、能够对交换数据进行验证和质量控制，比如：l 能够根据一定的规则，进行数据验证，验证数据是否符合入库要求。l 提供完善的日志。6、数据交换的安全支持对敏感数据进行加密传输。1.1.3. 平台框架系统主要由以下部分组成：n 业务应用集成n 数据集成n 信

9、息总线n 安全控管n 信息模型n 业务流程管理（包括了数据整合服务、信息服务）n 监控管理平台首先通过数据交换平台提供的大量现成的连接器/适配器实现与各种异构的业务系统的快速连接与无缝集成，从而实现对业务系统的集成。另外，通过数据库连接器及文件连接器，能够实现与主流的关系型数据库和文件系统的数据交换，完成各种数据的存取操作。在应用连接、数据库连接的基础上，由信息总线或消息总线来负责在所有系统之间传输、路由数据和消息，实现数据、服务、命令的上传与下达。信息总线还实现了多级平台之间的整合和集成。安全控管则统一管理整个共享数据库平台的安全和权限服务，保证整个集成平台的安全可靠。信息模型对整个平台中流

10、转的数据和服务请求进行标准化的建模，是整个集成平台的统一数据标准和服务接口标准，从而为业务系统的集成和未来可能增加的新业务系统提供技术框架，奠定现有系统和未来系统“即插即用”的基础。现有系统和未来新增的系统，只要符合相应的数据框架和服务接口框架，即可以“即插即用”的方式融入到整个集成平台的运行体系之中。数据整合流程实现数据交换的统一调度，整合了关键业务流程，这些关键业务流程跨越不同业务系统和数据库，并按照预先定义好的规则完成数据转换、验证、入库。数据整合流程对各个业务系统和数据库按需进行协调和调度，完成各项数据整合工作。信息服务整合了各业务系统的数据请求，负责将管理数据从各业务系统中进行实时抽

11、取，为各业务系统的数据请求提供支持，实现数据在异构业务系统之间的共享，并为报表分析系统提供数据来源。监控管理平台提供强大的数据流、业务流的监控、分析及优化功能，能够集中、远程、统一管理整个集成平台和运行系统，并实时获得系统运行、运行数据、运行流程的状态。整个体系结构能够完全满足共享数据库平台建设的需要，既实现了横向的整合（也即流程整合），也实现了纵向整合（也即数据整合）。并且充分考虑了系统的可扩展性，提供了共享数据库平台信息共享、互连互通的整个应用支撑框架，既能够对现有的应用和数据进行集成与整合，又为后续的业务应用开发奠定了强大的支撑。1.1.4. 应用集成与数据集成共享数据库平台首先涉及到如

12、何与各级部门、各异构业务系统及其异构数据库进行交互，实现数据的存取。应能够对各级部门、各业务系统的数据库定义数据抽取规则，从而实现自动地从各级部门的数据库或相应业务系统中抽取共享数据库所需的数据。业务系统及其数据库是异构的，实现架构各不相同，有C/S结构和B/S结构；实现技术也异构。数据交换平台提供了大量功能强大的现成的连接器，能够充分实现与这些系统、这些技术体系的快速连接和交互。在实现时，只需适当地配置产品化的连接器即可，无需编码。根据不同业务系统的技术架构和接口方式，可分别选择合适的适配器与之连接，实现对这些系统的集成，并最终接入到信息总线。同样，数据的集成是通过现成的数据库连接器和文件连

13、接器来完成的。如下图：数据交换平台包含众多成熟并经过了实际项目检验的连接器。主要包括：n 数据库连接器：支持主流常见数据库，如 ORACLE, DB2, SQL SERVER, SYBASE等；n 协议连接器：支持各种通讯协议标准，如HTTP、HTTPS、FTP、SMTP、POP3、SMS 、SOCKET、文件传送、IIOP（Internet Inter-ORB Protocol，互联网内部对象请求代理协议）、RMI（Remote Method Invocation，远程方法调用）、SOAP（Simple Object Access Protocol，简单对象访问协议）、JMS等；n 技术连接

14、器：如Web Service等等。数据交换平台提供的连接器还支持以下接口技术：n J2EE接口：数据交换平台每一个组件都提供J2EE/RMI接口供其它系统调用，同时, 数据交换平台也可调用其它J2EE系统；n Web Service接口：数据交换平台每一个组件都可作为一个Web服务供其它系统调用；同时，数据交换平台也可调用其它Web Service界面，接口定义是WSDL（Web Services Description Language，Web服务描述语言）。数据交换平台连接器可根据消息获取方式的不同分为两大类：n 主动向业务系统获取数据；n 业务系统更新数据触发事件，向连接器发布数据，连接

15、器实时获取变更的数据。数据交换平台连接器满足JCA（J2EE Connector Architecture）标准，JCA提供的多种开放标准或规范的接口技术，不仅为插件的开发提供了灵活性，而且，为整个系统的开放性奠定了坚实的基础。数据交换平台连接器可自动探测并捕获应用中的变化，将信息转换进入数据交换平台，然后以原来的数据格式送回到应用中，通过图形连接模型可容易地建立应用连接，并进行修改。根据不同的系统, 可以选用适当的接口方式和具体的连接器。除此之外，数据交换平台还基于JCA的框架提供二次开发所需的SDK，包括开发适配器的全套Java和C的API，提供对自主开发的应用的广泛支持。1.1.5. 数

16、据交换机制根据应用规模及应用内容，选择数据交换平台技术体系结构时最重要的是跨平台性、安全性、可靠性、稳定性及可管理性，同时要有良好的可扩展能力。数据交换平台的开始阶段主要实现数据的单向集成，即数据由各业务部门单向上报至数据中心。随着应用的推进和深入，管理的资源将会非常丰富，不但需要考虑将来可能的双向数据交换，还应考虑到进一步的应用集成乃至业务流程的集成。结构如下图： 如上图，我们可以建立中心与业务部门两级的数据交换平台。整个数据交换平台可分为两个重要的组成部分，一个为数据交换中心（SmartExchangeServer），是部署在数据中心的数据交换中心服务，另一个是数据交换代理（SmartAg

17、ent），是部署在各个部门的数据交换代理程序。数据交换中心和各个数据交换代理通过数据交换平台实现相互连接，提供了从业务部门的子数据库系统向中心综合数据库系统进行数据同步复制的能力，同时，该平台还为后续的扩展提供了基础，也即各业务部门子数据库系统也可以根据预先配置的服务，接收到共享数据库的数据库信息，通过数据交换平台完成数据的双向传输、同步，实现数据的复用。另外，实现了对整个数据交换平台的集中管理和统一管理，并保证了整个数据交换平台系统的灵活性和充分的可扩展性。数据交换中心是数据集成、交换的中枢。主要实现以下功能：n 统一管理和调度各数据交换代理，为地域分布的客户端提供统一集中管理功能。n 建立

18、统一的数据模型。即根据共享数据库的格式，统一数据的标准，具体创建、管理和维护元数据。n 定义数据转换关系。即定义各业务部门数据与中心标准数据之间的转换关系。n 在数据模型的基础上实现数据有效性验证和数据质量控制。n 实现数据的自动汇集与入库。n 提供统一的安全控制管理机制，为整个分布式异构数据交换平台提供安全保障。n 对整个数据交换平台的进行管理和监控。实时地监控数据交换流量、异常报告等。数据交换代理主要负责数据按规则抽取和数据可靠高效地上传。数据交换代理通过适配器实现与各种异构数据库、异构业务系统的快速连接与无缝集成。如通过数据库源适配器（RDBMS Source 连接器）与不同的数据库进行

19、连接，并自动检测数据的变化（增、删、改），实时捕获变化的数据。数据交换代理的业务调度模块基于强大的业务调度功能来定义数据的抽取规则、数据的路由规则、数据的传输规则，提供不同业务部门不同的数据抽取需求、不同的数据传输需求的强有力的支持，并能够通过图形化的界面快速创建或改变规则，最大限度地提供充分的灵活性。数据交换代理同时提供了系统运行的监控和管理功能。数据交换中心和数据交换代理之间，通过消息中间件通讯器进行集成，两级通讯器之间通过数据联邦功能实现数据的单向或双向传输，从而构成可靠、高效、安全的信息传输总线。如下图所示，整个数据交换平台的逻辑实现可看作三大部分，数据交换中心、数据交换代理和消息传输

20、总线。下面描述业务部门数据从业务系统经过数据交换平台到共享数据库的交换过程：1) 业务部门业务系统的相关操作，产生业务部门数据库的更新，如增加或修改了相关的业务数据，并提交到业务部门数据库中。2) 业务部门的数据交换代理通过各自的数据库连接器与业务部门业务数据库连接。当业务系统的业务数据库发生变动时，数据库连接器能够捕获数据库的事务变化，并基于预先制定的数据抽取规则，实时将满足要求的数据变化信息发送到数据中心（或者业务系统定期将更新数据存储为相应格式的文件放置在特定的目录下，文件连接器定时从特定目录下读取数据文件）。3) 数据交换代理的数据传输调度模块根据预先配置的流程及相关参数（如数据传输周

21、期、数据传输时间、数据的加密、数据的压缩）等规则来调度和处理数据并最终把数据汇集到消息中间件通讯器的Channel中（可靠消息渠道）。4) 各业务部门数据代理的通讯器与数据交换中心的通讯器之间通过数据联邦模式实现高效的数据交换，共同组成可靠、高效的信息传输总线，完成两级数据交换。5) 数据交换中心从信息传输总线接收变化的数据信息，首先进行必要的数据调度处理，如解密、解压缩等。6) 根据预先利用图形化工具定义的数据转换规则进行数据格式的转换，实现数据的标准化。7) 根据元数据规则及相关业务规则对数据有效性进行验证，实现对数据质量的控制，并进行入库前的数据查重。8) 最后数据交换中心的数据库连接器

22、把符合标准的合格数据信息更新到中心的综合数据库中。此外，在整个数据交换过程中，数据交换中心的图形化监控管理平台能够实时地进行监控。1.1.6. 平台部署及性能说明公共数据库平台支持如下图所示部署架构：基于上述结构，既能够满足项目对核心数据库高安全性的要求，又能够满足和后续智慧校园系统进行数据交换的需求。在这种结构下，系统的性能情况如下：测试环境环境说明网络环境本次测试在局域网中完成，网络带宽10M。局域网中还有大约30台机器在同时工作。硬件环境服务器：CPU：P700，内存：512M客户端：CPU：P700，内存：512M操作系统服务器操作系统为：RedHat AS 2.1客户端操作系统WIN

23、2000；数据库版本共享库：Oracle 9.2.0.2业务库：Oracle 9.2.0.2测试数据量业务数据整合和共享数据订阅所采用的表共有45个字段，字段长度总和为1.5K。该表有191601条记录。一次处理最大数据流量为：1916011.5K= 287401.5K280M测试结果集成方式测试路线测试内容作业时间业务数据整合(1)基于业务库表ETL抽取输入从业务库中抽取191601条记录，操作类型为UPDATE/INSERT4分钟(2)基于业务库视图ETL抽取输入从业务库中抽取191601条记录,操作类型为UPDATE/INSERT4分钟(3)基于业务数据源文件ETL抽取输入(Access

24、)从数据文件中抽取191601条记录,操作类型UPDATE/INSERT 6分钟共享数据订阅(1)业务系统基于共享库数据表的ETL 抽取从共享库表中抽取191601条记录，操作类型为UPDATE/INSERT4分钟(2)基于共享库数据表的增量快照输出共享库插入191601条记录，业务库刷新快照2分钟共享库更新其中3000条记录，业务库刷新快照1分钟(3)基于共享库数据表跨库视图输出Select count(*) from 操作1秒(4)业务系统基于共享库视图的ETL抽取从共享库视图中抽取191601条记录，操作类型为UPDATE/INSERT4分钟(5)基于共享库视图完全快照输出共享库插入191601条记录，业务库刷新快照2分钟共享库更新其中3000条记录，业务库刷新快照2分钟(6)基于共享库视图跨库视图输出Select count(*) from 操作1秒(7)基于共享库数据文件输出依赖于业务系统开发的数据处理接口程序。