《Electric Finance & payment 电子金融与支付.ppt》由会员分享，可在线阅读，更多相关《Electric Finance & payment 电子金融与支付.ppt（38页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Electric Finance & payment电子金融与支付,重庆大学经济与工商管理学院于同奎Tel: (023)65108564E-mail: 2004.8,DW&OLAP,DW是管理决策分析的基础，若要有效地利用DW中的信息资源，必须有强大的工具对信息进行分析、决策，OLAP就是一个得到广泛用的DW技术。,DW&OLAP,OLAP专门用于支持复杂的决策分析，是支持信息管理和业务管理人员决策活动的一种决策分析工具。它可以根据分析人员的要求，迅速、灵活地对大量数据进行复杂的查询处理，并且以直观的、容易理解的形式将查询结果提供给各种决策人员，使他们迅速、准确地掌握企业的运营情况，了解市场的
2、需求。,发展背景,60年代，关系数据库之父E.F.Cdd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Cdd提出了OLAP（联机分析处理）概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Cdd提出了多维数据库和多维分析的概念，即OLAP技术概念。,OLAP定义,OLAP委员会的定义：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种
3、角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。他指得是一类技术，而非特指某软件、或管理方法。 OLAP的目标：是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。,OLAP技术特点,一是在线(On-Line)，表现为对用户请求的快速响应和交互操作，它的实现是由客户机服务器体系结构完成的；二是多维分析(Multi-Analysis)，这也是OLAP技术的核心所在。,OLAP的特性,快速性：用户对OLAP的快速反应能力有很高的
4、要求，主要是指计算机的计算的反应速度，系统应能在5秒内对用户的大部分分析要求做出反应，但对业务数据的实时信息却很难反应。 可分析性：OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。多维性：多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。,OLAP相关基本概念,维：维是人们观察数据的特定角度。例如，一个企业在考虑产品的销售情况时，通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。 维的层次：人们观察数据
5、的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。维的成员：维的一个取值成为该维的一个维成员。是数据项在某维中位置的描述。如果维已经分成了多层次的，则维成员就是不同维层次取值的组合。例如：某公司销售数据在省、市、县，地理维有三个层次，则“山东省日照市五莲县”就构成地理维的一个维成员。维成员并不一定要在维的每一个层次上都取值，例如：山东省，山东省日照市，日照市五莲县都是地理维的维成员。,OLAP相关基本概念,多维数据集（数据立方体或超立方）。多维数据集是决策支持的支柱，也是OLAP的核心。它是维和变量的组合表示，是维的不同组合和所考察的度量指标构成的
6、多维数组。多维数据集可以用一个多维数组表示。可形式化表示为（维1，维2，维n，度量指标），如（地区、时间、产品、销售额）。三维的数据集可以用图表示。 高于三维只能用数组表示。数据单元(单元格)：多维数据集的取值称为数据单元。当在多维数据集的每个维都选中一个维成员以后，这些维成员的组合就惟一确定了观察变量的值。数据单元也就可以表示为：（维1维成员，维2维成员，维3维成员，观察变量）。例如：在时间、销售地区、产品维度上分别取2002-10-12、上海、服装，则可以唯一确定观察变量的值10000，因此该数据单元应该为（2002-10-12，上海，服装，10000）。多维数据集的度量值（测量值）。多维
7、数据集的度量值是基于多维数据集中事实表的一列或多列，数值型数字。多维数据集的度量值是OLAP分析的核心值，是用户在DW中需要查看的数据，一般是销售量、成本、费用等。,OLAP多维数据分析,多维分析是指对以多维形式组织起来的数据采取切片（Slice）、切块（Dice）、钻取（Drill-down和Roll-up）、旋转（Pivot）等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据，从而深入理解包含在数据中的信息。,切片 (Slice),定义1：在多维数据集的某一维上选定某一维成员的动作称为切片。定义2：选定多维数据集的一个二维子集的动作叫做切片。例：多维数据集S(地区
8、，时间，产品，销售渠道，销售额)。选定地区维与产品维，另外的维取一个维成员(如时间维取1999年，销售渠道维取批发)，就可以得到多维数据集S在地区和产品维上的一个切片：(地区、产品、销售额)。此切片表示1999年各地区、各产品的批发销售情况。切片的结果一定是一个二维的平面。切片的实质：1、切片的作用或结果就是舍弃一些观察角度，使人们能在两个维上集中观察数据；2、一个切片最终是由除切片所在平面两个维之外的其他维的成员值确定的。,切块(Dice),定义1、在多维数据集的某一维上选定某一区间的维成员的动作称为切块。定义2、选定多维数据集的一个三维子集的动作称为切块。,切片和切块(Slice and
9、Dice),钻取(Drill-up&Roll-up),钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)/上卷(Roll-up)操作， 钻取的深度与维所划分的层次相对应。使用户在DW的多层数据中能通过导航信息而获得更多的细节性数据。大多数OLAP工具可让用户下钻到一个数据集中有更好细节描述的数据层，更完整的工具则可让用户随处钻探：上翻、交叉钻探(让用户从同一个层次的一个数据集横向地移到另一个数据集进行查看和分析) 。,钻取(Drill),旋转(Rotate)/转轴(Pivot),旋转即改变一个报告或页面显示的维方向。通过旋转可以得到不同视角的数据。例如：旋转可能包含交换行和
10、列，或是把某一个行维移到列维中去，或把页面显示中的一个维和页面外的维进行交换。,旋转(Rotate)/转轴(Pivot),OLAP分类,ROLAP,ROLAP表示基于关系数据库的OLAP实现（Relational OLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了星型模式。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展
11、称为雪花模式。,ROLAP的星型模式,MOLAP,MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP）。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成立方块（Cube）的结构,在MOLAP中对立方块的旋转、切块、切片是产生多维数据报表的主要技术。,HOLAP,HOLAP表示基于混合数据组织的OLAP实现（Hybrid OLAP）。 HOLAP 方法是结合ROLAP 和MOLAP产生的。它得益于ROLAP较大的可伸缩性和MOLAP的快速计算。例如，HOLAP允许将大量详细数据存放在关系数据库表中，而聚集数据保存在分
12、离的MOLAP 存储中。这种方式具有更好的灵活性。,OLTP、ROLAP与MOLAP模式,数据组织形式,ROLAP vs MOLAP,（1） 查询性能 MOLAP查询能力较好；MDDB中事先做好了许多计算，是MOLAP的查询能力可以预测，并且较为理想； ROLAP速度较MOLAP慢，且不易预测。（2）数据加载性能 MOLAP加载数据时间较长，每月一次； ROLAP加载数据时间较短，每天刷新。（3）分析能力 MOLAP在分析过程中的精度较高，具有分析的优势； ROLAP分析效果不如MOLAP，受SQL语言限制。因为对于现实中的许 多问题的解决很难用一条SQL语句来实现。（4）数据集市的大小 MO
13、LAP在实际应用中的数据存贮量往往增加较快，有时会使多维表形 成稀疏矩阵。随着维数的增加，呈现爆炸性增长趋势。 ROLAP不会出现稀疏矩阵的情况，关系数据库可以支持无限增长的数据存贮要求。,ROLAP vs MOLAP,（5）维的管理 ROLAP采用星型模式构建，其维表可能很宽，可以包含很多列。分析 人员可以在这样的一个表中的所有列进行查询、汇总、钻取等操作。MOLAP 很难完成如此复杂的操作。（6）维护能力 MOLAP能够较好的进行自我维护，在数据更新加载时，只需要用SQL语句对其输入数据就可以了。 ROLAP在维护与聚集时却比较困难。结论： 如果需要建立一个大型的、功能复杂的企业级数据仓库
14、，就要选择ROLAP。例如：SQL Server 2000中建立的维度表超过一千万以上维成员时，就不能采用MOLAP模式。 如果希望建立一个目标单一、维数不是很多的分析型数据集市，则MOLAP可能是一个较佳的选择。,OLAP体系结构,OLAP体系结构,OLAP体系结构,OLAP评价准则,1993年，E.F.Codd 在“Providing OLAP to User Analysts”一文中，提出了关于OLAP的12条标准，用来评价分析处理工具。其目的是加深对OLAP的理解，事实上，这些标准已成为OLAP工具所应该具有关键特性的最小描述，对于在数据仓库设计，使用OLAP的用户来说，了解这些标准是
15、必不可少的。Codd提出了关系数据库12条准则，分布式数据库12条准则，这是他的第三个12条准则。如今，OLAP 的概念已经在商业数据库领域得以广泛使用，OLAP 的特征也得到了验证和确认，从实践来看，COOD 提出的12条准则可以作为评价和购买OLAP 产品的标准。,OLAP评价准则,(1)、多维性 由于企业数据空间是多维的，因此OLAP的概念模型也应是多维的。用户可以简单、直接的操作这些多维数据模型，进行切片、切片等操作。(2)、透明性无论OLAP是否是前端产品的一部分，分析工具所处的位置对用户应是透明的。透明性原则：IOLAP在体系结构中的位置对用户是透明的。OLAP应处于一个真正的开放
16、系统结构中，他可使分析工具嵌入用户所需的任何位置，而不会对宿主工具的使用产生副作用，同时必须保证OLAP 的嵌入不会引起和增加任何复杂性。IIOLAP的数据源对用户也是透明的。用户只需使用熟悉的查询工具进行查询，而不必关心输入OLAP 工具的数据来自何处。(3)、存取能力OLAP系统不仅能进行开放的存取，而且还提供高效的存取策略。OLAP用户分析员不仅能在公共概念视图的基础上对关系数据库中的数据进行分析，而且在公共分析模型的基础上还可以对RDB、非RDB和外部存贮的数据进行分析。要实现这些功能就要求OLAP能将自己的概念视图映射到异质的数据存贮上，并可访问数据，还可进行所需的转换以便给出单一的
17、、连贯的、一致的用户视图。,OLAP评价准则,(4)、稳定的报表性能报表操作不应随维数的增加而削弱，即当数据维数和数据的综合层次增加时，提供给最终分析员的报表能力和响应速度不应该有明显的降低。即便是用户数据模型改变时，关键数据的计算方法也无须改变，即OLAP系统的数据模型对企业的数据模型应该具有“鲁棒”性。(5)、客户机/服务器体系结构OLAP是建立在C/S体系结构上的。OLAP 工具的服务器构件应有足够的智能，以便各种客户只需做较少的工作使用最少的集成程序就能与其组合起来。这要求他的多维数据库能够被不同的应用和工具所访问，服务器端智能的以最小的代价完成同多种服务器之间的挂接任务。智能化服务器
18、必须具有在不同的逻辑和物理的数据库间映射并组合数据的能力，还应构造通用的、概念化的、逻辑的和物理的模式，从而保证透明性和建立统一的概念模式、逻辑模式和物理模式。客户端负责应用逻辑及用户界面。(6)、维的等同性每一数据维在其结构和操作功能上必须等价，要求维上的操作是公共的。,OLAP评价准则,(7)、动态稀疏矩阵处理 OLAP 服务器的物理结构应完全适用于特定的分析模式，创建和加载此种模式是为了提供优化的稀疏矩阵处理，当存在稀疏矩阵时，OLAP 服务器应能推知数据是如何分布的，以及怎样存储才更有效。该准则的含义：I对任意给定的稀疏矩阵，存在一个最优的物理视图，该视图能提供最大的内存效率和矩阵处理
19、能力。IIOLAP工具的基本物理数据单元可配置给可能出现的维的子集。同时，还要提供动态可变的访问方法并包含多种存取机制。(8)、支持多用户 OLAP工具应提供并发访问、数据完整性及安全性等功能。当多个用户在同一分析模型上建立不同的分析模型时，都需要这些功能的支持。(9)、非限定的跨维操作 在多维数据分析中，所有的维的生成和处理都是平等的。OLAP工具应能处理维间相关计算，而不是要求商业用户定义计算的行为。,OLAP评价准则,(10)、直接数据操纵要求数据操作直观易懂。综合路径重定位、向上综合、向下挖掘和其他操作都可以通过直观、方便的点、拉操作完成。(11)、柔性报表用户通过使用OLAP服务器及
20、其工具，可以按任何想要的方式来操作、分析、综合和查看数据，这些方式包括创建逻辑组或将行、列及单元按需要依次排放。报表机制也应提供这种灵活性，能从各种可能的方面显示出从数据模型中综合出的数据和信息，充分反映数据分析模型的多维特性，并按用户需要的方式显示它。(12)、维和聚集层次不受限OLAP服务器应能在一个通用分析模型中协调至少15个维，每一个通用维应允许有任意个用户定义的聚集，而且用户分析员可以在任意给定的综合路径上建立任意多个聚集层次。,OLAP应用领域,市场和销售分析(Marketing and Sales analysis)电子商务分析(Clickstream analysis)基于历史
21、数据的营销(Database marketing)预算(Budgeting)财务报告与整合(Financial reporting and consolidation)管理报告(Management reporting)利益率分析(Profitability analysis)质量分析(Quality analysis),OLAP发展,面向对象的联机分析处理 O3LAP(Object-Oriented OLAP) 对象关系的联机分析处理 OROLAP (Object Relational OLAP) 分布式联机分析处理 DOLAP (Distributed OLAP) 时态联机分析处理 TOLAP (Temporal OLAP),OLAM联机分析挖掘,将联机分析处理与数据挖掘以及在多维数据库中发现知识集成在一起。联机分析挖掘提供在不同的数据子集和不同的抽象层上进行数据挖掘的工具. 联机分析挖掘为用户选择所期望的数据挖掘功能动态修改挖掘任务提供了灵活性 。超立方体计算与传统挖掘算法的结合先进行立方体计算，后进行数据挖掘先对多维数据作数据挖掘，然后再利用立方体计算算法对挖掘结果分析立方体计算与数据挖掘同时进行,OLAP基于Web的应用,静态方法 静态HTML报表动态方法 通过HTML模板及元数据动态生成报表改进方法 使用Java或ActiveX,
黑公网安备:91230400333293403D