OLAP-在线联机分析.ppt

《OLAP-在线联机分析.ppt》由会员分享，可在线阅读，更多相关《OLAP-在线联机分析.ppt（50页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、OLAP多维数据集多维数据集n多维数据集提供了一种信息系统结构，这种结构可以使企业灵活地对数据进行访问，可以用多种方法对数据进行切片、分块、动态地考察汇总数据和细节数据之间的关系n数据仓库中的细节数据为多维数据集提供了稳健方便的数据源.多维数据集和数据仓库多维数据集和数据仓库n数据仓库与多维数据集的区别:n多维数据集数据量比数据仓库少一个数据量级n数据仓库只适合少量灵活访问,多维数据集适合大量不可预知的访问和分析n数据仓库存储很长时间范围内的数据,多维数据集存储较短时间范围内的数据n数据仓库只允许分析人员以受限的形式访问数据,而多维数据集允许自由地访问n多维数据集和数据仓库有着互补的关系:n数

2、据仓库中可以存储非常细节的数据,而多维数据集中往往会对细节数据进行轻度综合,DSS分析人员可以同时获取这二种数据n汇总信息在多维数据集中计算和聚集后存储在数据仓库中维（Dimension）n维是人们观察数据的特定角度。n例如，企业常常关心产品销售随着时间推移而产生的变化的情况，这时他是从时间的角度来观察产品的销售，所以时间就是一个维（时间维）。n企业也常常关心自己的产品在不同地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，所以地理分布也是一个维（地理维）。维度维的层次n人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这个描述方面为维的层次。n一个

3、维往往具有多个层次，例如:n描述时间维时，可以从日期、月份、季度、年等不同层次来描述，那么日期、月份、季度、年等就是时间维的层次；n同样，城市、地区、国家就构成了一个地理维的多个层次。维成员n维的一个取值就称为该维的一个维成员。n如果一个维是多层次的，那么该维的维成员就是不同维层次的取值的组合。n例如，考虑时间维具有日期、月份、年这三个层次，分别在日期、月份、年上各取一个值组合起来，就得到时间维的一个维成员，即“某年某月某日”。多维数组n一个多维数组可以表示为(维1,维2,维n,变量)，这样可以构成三维、四维及多维的数据表示结构。其中，变量表示我们所观察的数据对象，维1、维2、维n分别表示我们

4、观察该数据对象的角度。n如（时间，商品种类，商店，销售额），从而构成一个有关商品销售额的三维数组。（2000年，家电，南京市，1亿）（2000年7月，女性服装，江苏省，10亿）数据单元（单元格）n多维数组的取值称为数据单元。n当多维数组的各个维都选中一个维成员，这些维成员的组合就唯一确定了一个观察对象的值，即（维成员1，维成员2，维成员n，对象值）。立方体和超立方(Cube)多维数据模型的数据结构可以用这样来一个多维数组来表示:(维1，维2，维n，度量值)，例如:商品销售数据是按时间、地区、商品种类，加上度量“销售额”组成的一个三维数组:(地区，时间，商品种类，销售额)。三维数组可以用一个立方

5、体来直观的表示，立方体中每一个交点对应于一个事件。一般地多维数组用多维立方体来表示，但数据立方体并不一定限于三维，因此又称为超立方数据立方体数据立方体日期一季度二季度三季度四季度ALL品VCDTV产PCALLNO1NO2NO3ALL商店可以按照产品、日期、商店三个维度任意组合，生成销售情况OLAP的产生背景的产生背景n60年代，关系数据库之父提出了关系模型，促年代，关系数据库之父提出了关系模型，促进了联机事务处理进了联机事务处理(OLTP)的发展的发展(数据以表格的数据以表格的形式而非文件方式存储形式而非文件方式存储)。n1993年，提出了年，提出了OLAP概念，认为概念，认为OLTP已不能已

6、不能满足终端用户对数据库查询分析的需要，满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，提出了多维不能满足决策者提出的需求。因此，提出了多维数据库和多维分析的概念，即数据库和多维分析的概念，即OLAP。n 什么是OLAP？nOLAP，英文全称为On-LineAnalysisProcessing，中文名称为联机分析处理，也

7、称为在线分析处理。nOLAP允许以一种称为多维数据集的多维结构访问来自商业数据源（如数据仓库）的经过聚合和组织整理的数据。nOLAP是针对某个特定的主题进行联机数据访问、处理和分析，通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给使用者。OLTP与OLAPn随着数据库系统广泛应用，数据库系统记录和随着数据库系统广泛应用，数据库系统记录和处理的数据越来越多，及时地记录和处理企业处理的数据越来越多，及时地记录和处理企业的各种业务数据，这些系统成为联机事务处理的各种业务数据，这些系统成为联机事务处理(OLTP)(OLTP)系统。数据库技术的广泛应用和技术的系统。数据库技术的广泛应用和

8、技术的发展，人们已经不再满足于仅仅用数据库系统发展，人们已经不再满足于仅仅用数据库系统来记录企业的业务活动数据和对数据的简单处来记录企业的业务活动数据和对数据的简单处理，人们需要对企业业务活动的数据进行各种理，人们需要对企业业务活动的数据进行各种分析，以便发现企业业务趋势，这些系统称为分析，以便发现企业业务趋势，这些系统称为联机分析处理联机分析处理(OLAP)(OLAP)系统。系统。OLTPOLAP数据库原始操作数据库导出数据或数据仓库数据细节性数据综合性数据当前数据历史性数据经常性更新数据不可更新，但可周期性刷新数据一次性处理的数据量少一次性处理的数据量多对响应时间要求高响应时间合理用户量大

9、用户量少面向操作人员、支持日常操作面向决策人员、支持管理需要面向应用、实物驱动面向分析、分析驱动OLTP与OLAP对比表OLAPOLAP特性特性n快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。客户/服务器体系结构两层或三层C/S结构。n可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。n多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。n信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。数据仓库与OLAPn数据仓库是一个包

10、含企业历史数据的大规模数数据仓库是一个包含企业历史数据的大规模数据库，这些历史数据安用十对企业的经营决策据库，这些历史数据安用十对企业的经营决策提供分析和支持。数据仓库中的数据是不能用提供分析和支持。数据仓库中的数据是不能用于于OLTP的，而的，而OLAP技术则利用数据仓库中的技术则利用数据仓库中的数据进行联机分析，将复杂的分析查询结果快数据进行联机分析，将复杂的分析查询结果快速地返回用户。速地返回用户。n OLAP利用多维数据集和数据聚集技术对数利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总，用联机分析据仓库中的数据进行组织和汇总，用联机分析和可视化工具对这些数据迅速进行评价。

11、和可视化工具对这些数据迅速进行评价。提取提取,清清理转换理转换,装入刷装入刷新新输输出出查询/报告分析数据挖掘OLAPOLAP服务器OLAPOLAP服务器监控 管理元数据存储数据仓库数据集市操作数据库外部数据源顶层：前端工具中间层：OLAPOLAP服务器底层：DWDW服务器数据数据仓库系统结构nOLAPOLAP是是DWDW主要的前端支持工具。在主要的前端支持工具。在OLAPOLAP系统中，客户能够以多维视觉图的方式，系统中，客户能够以多维视觉图的方式，搜寻数据仓库中存储的数据。搜寻数据仓库中存储的数据。n多维报表多维报表n饼图饼图n直方图直方图n柱状图柱状图n曲线图曲线图n切片和切块切片和切块

12、n旋转旋转n地图地图nOLAP前端展现方式前端展现方式OLAP的基本操作nOLAP的基本操作是指对以多维形式组织起来的数据采取钻取（Drill-up和Drill-down）、切片（Slice）和切块（Dice）、以及旋转（Pivot）等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据仓库中的数据，从而深入地了解包含在数据中的信息和内涵。钻取钻取(Drill(Drill)n钻取：是改变维的层次，变换分析的粒度。n维度的层次反映了数据的综合程度。层次高，代表数据综合程度高，细节数据少，数据量也少；层次低，代表数据综合度低，细节数据多，数据量大。n钻取包括向下钻取（Drill-d

13、own）/下卷（Roll-down）、向上探取（Drill-up）/上卷（Roll-up）nDrill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数nDrill-down则相反，它从汇总数据深入到细节数据进行观察或增加新维上钻下钻切片和切块切片和切块n切片切片(SliceSlice)n定定义义1 1：在在多多维维数数组组的的某某一一维维上上选选定定一一个个取取值值，则则多多维维数数组组就就从从n n维维降为降为n-1n-1维，我们称多维数组的子集维，我们称多维数组的子集 （维度（维度1 1，维度，维度2 2，维成员，维成员ViVi，维度，维度n n，度量），度量）为多

14、维数组在维度为多维数组在维度i i上的切片（上的切片（ViVi表示维度表示维度i i的维成员）的维成员）n定定义义1 1中中，一一次次切切片片一一定定使使原原来来维维数数减减1 1，因因此此所所得得切切片片结结果果并并不不一一定定是是二二维维的的“平平面面”，切切片片结结果果维维数数取取决决于于原原来来的的多多维维数数组组的的维维数数。这个定义不够通俗，还有另外一个定义这个定义不够通俗，还有另外一个定义n定定义义2 2：选选定定多多维维数数组组中中两两个个维维：维维i i和和维维j j，在在这这两两个个维维上上取取一一区区间间或或者者任任意意的的维维成成员员，而而将将其其他他维维都都分分别别取

15、取定定一一个个维维成成员员的的动动作作，称为多维数组在维称为多维数组在维i i和维和维j j上的一个切片。上的一个切片。切片和切块切片和切块n切块切块(DiceDice)n定定义义1 1：将将多多维维数数组组的的某某一一维维上上的的取取值值设设定定为为一一个个区区间间（如如时时间间维维的的1999-20041999-2004年年）的的维维成成员员的的动动作作，称称为为切切块块。显显然然，当当这这一一区区间间只取一个维成员时，即得到一个切片。只取一个维成员时，即得到一个切片。n定定义义2 2：选选定定多多维维数数组组中中三三个个维维：维维i i、维维j j和和维维k k，在在这这三三个个维维上上

16、取取一一区区间间或或者者任任意意的的维维成成员员，而而将将其其他他维维都都分分别别取取定定一一个个维维成成员员的的动动作，称为多维数组在维作，称为多维数组在维i i、维、维j j和维和维k k上的一个切块。上的一个切块。n产品销售情况某年某月产品销售情况选定两个维：产品维和地区维选定两个维：产品维和地区维时间维时间维数据切片数据切片产产品品维维地区维地区维产产品品维维地区维地区维n转轴：是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。转轴nOLAPOLAP的其它操作还有统计表中最的其它操作还有统计表中最高值和最低值的项数，计算平均高值和最低值的项数，计算平均值、增长率、利润、投资回

17、报率值、增长率、利润、投资回报率等统计计算。等统计计算。OLAP存储模式nOLAP系统按照其存储器的数据存储格式可以分为关系OLAP（RelationalOLAP，简称ROLAP）、多维OLAP（MultidimensionalOLAP，简称MOLAP）和混合型OLAP（HybridOLAP，简称HOLAP）三种类型。ROLAPnROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批物化视图作为表也存储在关系数据库中。ROLAP针对关系型数据库的应用允许其利用针对关系型数据库的应用允许其利用已有的数据库资源，并且允许已有的数据库资源，并且允许R OLAP应用应用程序很好

18、地伸缩。然而，程序很好地伸缩。然而，ROLAP使用表存储使用表存储合计则要求比合计则要求比MOLAP更多的磁盘空间，速度更多的磁盘空间，速度相对比较慢。相对比较慢。nROLAP将多维数据库的多维结构划分为两类表:n一类是事实表,用来存储数据和维关键字。n另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。n维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模式”。n星座模型和雪暴模型：有多个事实表的星型模型和雪花模型MOLAPn定义定义nMOLAP表

19、示 基 于 多 维 数 据 组 织 的 OLAP实 现（MultidimensionalOLAP）。n以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。n多维数据在存储中将形成“立方块（Cube）”的结构,在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。MOLAPOLAP分类分类4MOLAP4.3ROLAP与与MOLAP比较比较n在MOLAP中，不但把多维实视图在概念上看成一个超立方体，而且在物理上把多维实视图组成一个多维数组，而不象ROLAP以表的形式存储实视图。n在MOLAP中，维的属性值被映射成多维数组的下标值或下标的范围，而总数据

20、作为多维数组的值存储在数据的单元中。nROLAP在节省存储空间、灵活性、与关系数据库保持一致性等方面有明显的优势；MOLAP则在性能和管理的简便性方面有其优点。nMOLAP的查询速度比较快，但有下面限制：n用多维数组实现多维实视图，需要很大的存储空间。在实际的数据仓库中，每维的属性值个数可能数万。例如几万种产品、几万个连锁店等。而实际的维数可能多达几十乃至几百。耗费的存储空间相当可观，由此带来加载、维护等问题。n在多维数组中，很可能有些单元是空白的，如节假日商店不营业；某些产品在某些地区不销售等。nMOLAP与关系数据库系统从存储结构到查询语言都有相当大的差别，不可能在RDBMS的基础上实现。

21、ROLAP与与MOLAP比较（续）比较（续）nHOLAP(hybird OLAP)，即混合，即混合OLAP，介于，介于MOLAP 和和ROLAP之间。之间。在在HOLAP 中，对最常中，对最常用的维度和维层次使用多维数据库来存储，对用用的维度和维层次使用多维数据库来存储，对用户不常用的维度和数据使用户不常用的维度和数据使用ROLAP星形结构来存星形结构来存储。当用户查询不常用数据时，储。当用户查询不常用数据时，HOLAP 将会把将会把简化的多维数据库和星形结构进行拼合，从而得简化的多维数据库和星形结构进行拼合，从而得到完整的多维数据库。到完整的多维数据库。n在在HOLAP 多维数据库中的数据维

22、度少于多维数据库中的数据维度少于MOLAP 中的维度，中的维度，数据存储容量也少于数据存储容量也少于MOLAP 方式；方式；但但HOLAP在存取速度上低于在存取速度上低于MOLAP。HOLAP数据模型nOLAP是介于客户与数据仓库之间的数据分析处理系统，它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三层客户/服务器结构。n这种三层客户/服务器的结构通常将数据仓库、OLAP服务器与客户端严格区分。数据准备区数据仓库OLAP服务器数据仓库与OLAP关系业务处理系统第三层第二层第一层数据抽取数据加载多维化处理数据清理、转换可视化处理客户端n关系关系OLAPOLAP（ROLA

23、PROLAP）服务器）服务器 在在ROLAPROLAP处理过程中，处理过程中，ROLAPROLAP服务器通过用户界面服务器通过用户界面接受多维查询，将其转化为标准的接受多维查询，将其转化为标准的SQLSQL查询，在查询，在ROLAPROLAP中执行，然后再将查询结果以适当的形式通中执行，然后再将查询结果以适当的形式通过用户端界面显示出来。多维立方体是借助过用户端界面显示出来。多维立方体是借助RDBMSRDBMS平台实现的，故系统的工作过程较复杂。平台实现的，故系统的工作过程较复杂。ROLAPROLAP服务器的体系结构服务器的体系结构 n多维多维OLAPOLAP（MOLAPMOLAP）服务器）服

24、务器 在在MOLAPMOLAP中，中，MOLAPMOLAP服务器的主要功能是：通过服务器的主要功能是：通过MDDBMDDB引擎访问数据仓库或数据库，将抽取到的数引擎访问数据仓库或数据库，将抽取到的数据存储到据存储到MDDBMDDB中去；通过用户逻辑层接受用户的中去；通过用户逻辑层接受用户的请求，对请求，对MDDBMDDB进行多维访问。数据进入进行多维访问。数据进入MDDBMDDB后，后，MDDBMDDB将自动为其建立索引，并进行必要的综合运将自动为其建立索引，并进行必要的综合运算，以提高系统的性能。算，以提高系统的性能。MOLAPMOLAP服务器的体系结构服务器的体系结构 OLAMOLAMOL

25、AM(OLAP+Mining)OLAM(OLAP+Mining)技技术术一一般般简简称称为为“数数据据联联机机分分析析挖挖掘掘”,它它将将联联机机分分析析处处理理技技术术和和数数据据挖挖掘掘技技术术有有机机地地结结合合在在一一起起，是是OALPOALP的的新新发展。发展。OLAMOLAM是是加加拿拿大大SimonSimon大大学学教教授授韩韩家家伟伟等等提提出出的的，基基本本操操作作是是将将数数据据挖挖掘掘功功能能与与OLAPOLAP的的钻钻取取结结合合。在在数数据据立立方方体体中中数数据据挖挖掘掘可可以以在在多多维维和和多多层层次次的的抽抽象象空空间间中中进进行行，利利于于灵灵活活地地挖掘知识。挖掘知识。用户图形界面API数据库数据仓库数据库元数据OLAM引擎OLAP引擎MDDB数据方API数据库API基于约束的数据挖掘数据清理过滤挖掘结果数据集成数据过滤数据集成第一层数据存储第二层多维数据库第三层OLAP/OLAM第四层用户界面