大数据-大数据技术.ppt

《大数据-大数据技术.ppt》由会员分享，可在线阅读，更多相关《大数据-大数据技术.ppt（177页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、S,大数据技术,张博士 2015年5月,11/30/2020,目 录,大数据技术概论 云数据库技术 数据挖掘技术 商业智能,11/30/2020,Big Data名词由来,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念,11/30/2020,大数据的产生,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器

2、，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,11/30/2020,数量级概念,1KB=2(10)B=1024B； 1MB=2(10)KB=1024KB=2(20)B； 1GB=2(10)MB=1024MB=2(30)B。 1TB=2(10)GB=1024GB=2(40)B 1PB=2(10)TB=1024TB=2(50)B 1EB=2(10)PB=1024PB=2(60)B,11/30/2020,数量级概念,Kilobyte(KB)=1024B 相当于一则短篇故事的內容。 Megabyte(MB)=l024KB 相当于一則

3、短篇小說的文字內容。 Gigabyte(GB)=1024MB 相当于贝多芬第五交响乐的演奏视频內容。 Terabyte(TB)=1024GB 相当于一家大型医院中所有的X光照片信息。 Petabyte(PB)=l024TB 相当于50%的全美学术图书馆信息內容。 Exabyte (EB)=1024PB；5EB相当于至今全世界人类所讲过的话语。,11/30/2020,信息通讯进入新时代,11/30/2020,摩尔定律,11/30/2020,后摩尔时代,11/30/2020,计算机演进,11/30/2020,信息计算体系演进,11/30/2020,软件技术网络化演进,11/30/2020,传输技术

4、的发展,11/30/2020,从移动数据到移动流媒体,11/30/2020,移动通信峰值速率的提升,11/30/2020,互联网发展：从电信到泛在服务,11/30/2020,联网主机数量,11/30/2020,电视网络化智能化与三网合一,11/30/2020,视频流量成为主流,11/30/2020,全球骨干网流量,11/30/2020,中国互联网干线带宽,11/30/2020,中国互联网用户,11/30/2020,移动终端功能的演进,11/30/2020,移动互联网加快普及,11/30/2020,智能终端引领后PC时代,11/30/2020,移动数据流量超过话音,11/30/2020,全球移动

5、数据流量,11/30/2020,移动互联网流量,11/30/2020,互联网上1分钟,11/30/2020,互联网上的1天,11/30/2020,照片,11/30/2020,大数据时代到来,11/30/2020,大数据定义,11/30/2020,大数据例子,11/30/2020,科学研究催生大数据,11/30/2020,物联网催生大数据,11/30/2020,安全监控的数据量,11/30/2020,环境监测催生大数据,11/30/2020,医疗病历隐藏大数据,11/30/2020,国际关注大数据,11/30/2020,大数据的4V特征,“大量化(Volume)、多样化(Variety)、快速化

6、(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍,大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义,大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非

7、事后见效,11/30/2020,大数据的4V,11/30/2020,大数据的划分,11/30/2020,大数据技术挑战,11/30/2020,大数据技术挑战,11/30/2020,大数据平台技术,11/30/2020,分布式存储与架构,11/30/2020,大数据的并行处理,11/30/2020,大数据并行处理分析,11/30/2020,大数据可视化分析,11/30/2020,虚拟化与可视化,11/30/2020,大数据可视化,11/30/2020,目 录,大数据技术概论 云数据库技术 数据挖掘技术 商业智能,11/30/2020,Google云数据库,11/30/2020,Google云数据

8、库,11/30/2020,Google云数据库,11/30/2020,Google云数据库,GFS架构,11/30/2020,Google云数据库,11/30/2020,Google云数据库,11/30/2020,Google云数据库,11/30/2020,Google云数据库,11/30/2020,Google云数据库,11/30/2020,Google云数据库,11/30/2020,Google Vs Hadoop,11/30/2020,Haddop是什么,11/30/2020,Hadoop发展编年,11/30/2020,11/30/2020,Hadoop子项目,11/30/2020,Ha

9、doop特性,11/30/2020,11/30/2020,Hadoop物理部署,11/30/2020,Hadoop集群,11/30/2020,Hadoop用户,11/30/2020,HDFS,11/30/2020,HDFS,11/30/2020,HDFS能做什么,适合 不适合,11/30/2020,HDFS组件,11/30/2020,HDFS主要组件功能,11/30/2020,HDFS架构,11/30/2020,HDFS文件,11/30/2020,HDFS NameNode,11/30/2020,11/30/2020,HDFS DataNode,11/30/2020,HDFS可靠性保障,11/

10、30/2020,HDFS可靠性保障,11/30/2020,HDFS可靠性保障,11/30/2020,提升性能的措施,11/30/2020,HDFS：节点失效是常态,11/30/2020,DataNode磁盘挂了,11/30/2020,DataNode机器挂了,11/30/2020,NameNode挂了,11/30/2020,11/30/2020,Client挂了,11/30/2020,MR+HBase,11/30/2020,Why MapReduce?,11/30/2020,大规模数据分析,11/30/2020,大规模数据处理,11/30/2020,MR特性,11/30/2020,M+R,11

11、/30/2020,11/30/2020,MR编程,11/30/2020,11/30/2020,11/30/2020,11/30/2020,11/30/2020,单一Reduce处理,11/30/2020,多个Reduce处理,11/30/2020,MR流程,11/30/2020,11/30/2020,目 录,大数据技术概论 云数据库技术 数据挖掘技术 商业智能,11/30/2020,数据挖掘技术的由来,大量信息在给人们带来方便的同时也带来了一大堆问题： 第一：是信息过量，难以消化； 第二：是信息真假难以辨识； 第三：是信息安全难以保证； 第四：是信息形式不一致，难以统一处理。,网络之后的下一个

12、技术热点,11/30/2020,数据挖掘技术的由来,“要学会抛弃信息” “如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？” 数据开采和知识发现（DMKD）技术应运而生,网络之后的下一个技术热点,11/30/2020,数据挖掘技术的由来,随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导

13、致了“数据爆炸但知识贫乏”的现象。,数据爆炸但知识贫乏,11/30/2020,数据挖掘技术的由来,海量数据搜集 强大的多处理器计算机 数据挖掘算法,支持数据挖掘技术的基础,11/30/2020,数据挖掘技术的由来,从商业数据到商业信息的进化,11/30/2020,数据挖掘技术的由来,数据挖掘逐渐演变的过程,算法学习,专家系统,机器学习,11/30/2020,数据挖掘的定义,数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。,技术上的定义及含义,11/30/2020,数据挖掘的定

14、义,数据源必须是真实的、大量的、含噪声的； 发现的是用户感兴趣的知识； 发现的知识要可接受、可理解、可运用； 并不要求发现放之四海皆准的知识，仅支持特定的发现问题,技术上的定义及含义,11/30/2020,数据挖掘的定义,数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。,商业角度的定义,11/30/2020,数据挖掘的定义,数据挖掘与传统的数据分析(如查询、报表、联机应

15、用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识. 数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.,数据挖掘与传统分析方法的区别,11/30/2020,数据挖掘的定义,数据仓库是为决策支持而不是为事务处理所设计的数据库，它是将不同来源的事务处理数据库中对决策有用的数据提取出来而建立。 数据仓库的发展是数据挖掘的动力之一。但数据挖掘既可以在数据仓库中进行，也可以在传统的事务型数据库中进行。,数据挖掘和数据仓库,11/30/2020,数据挖掘的定义,数据挖掘和数据仓库,数据源,数据仓库,各分公司 数据集,分析 数据集,数据挖掘 数据集,11/30/2020,数据挖

16、掘的定义,在线分析处理(OLAP, On-Line analytical processing)是一种增强的查询技术，是决策支持领域的一部分。但又不同于传统的查询技术。 传统的查询和报表工具是告诉你数据库中都有什么（what happened），OLAP则更进一步告诉你下一步会怎么样（What next）、和如果我采取这样的措施又会怎么样（What if）。用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。,数据挖掘和在线分析处理,11/30/2020,数据挖掘的定义,比如，一个分析师想找到什么原因导致了贷款拖欠，他可能先做一个初始的假定，认为低收入的人信用度也低，然后用O

17、LAP来验证他这个假设。如果这个假设没有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考虑，一直进行下去，直到找到他想要的结果或放弃。,数据挖掘和在线分析处理,11/30/2020,数据挖掘的定义,数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。,数据挖掘和在线分析处理,比如，一个用数据挖掘工具的分析师想找到引起贷款拖欠的风险因素。数据挖掘工具可能帮他找到高负债和低收入是引起这个问题的因素，甚至还可能发现一些分析师从来没有想过或试过的其他因素，比如年龄。,11/30/2020

18、,数据挖掘的定义,数据挖掘，机器学习和统计分析,数据挖掘,统计分析,预测,简单的方法,复杂的方法,11/30/2020,数据挖掘的定义,数据挖掘，机器学习和统计分析,数据挖掘,统计方法,模式识别,人工智能,封装,预测,11/30/2020,数据挖掘的定义,软硬件发展对数据挖掘的影响,存贮性能的提高,计算能力的提高,并行处理技术,11/30/2020,数据挖掘应用,欺诈侦测,AT&T 使用根据数据挖掘开发的系统来侦测盗打国际电话的行为。 由HNC 公司开发的队LCON 欺诈评估系统用于提示可能存在的盗用信用卡的交易。 金融犯罪执法网络Al 系统（FAIS ）使用包括数据挖掘在内的几种技术，识别大

19、型现金交易中可能存在的洗钱行为。 个人通讯高级安全（Advanced security for Personal communications）欧洲研究组织己经利用无指导聚类侦测移动电话网络中的欺诈。对每个用户，系统储存用户的历史和使用特征文件。在当前使用与用户的历史情况有明显区别时，怀疑为欺诈行为。,11/30/2020,数据挖掘应用,卫生保健,Merck-Medco Managed care, Merck 的一个医药保险和处方电邮订购单位，使用数据挖掘来帮助找出对某种类型的病人减少费用但疗效相同的治疗方法。 生物信息或基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人

20、类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因,这都需要数据挖掘技术的支持。,11/30/2020,数据挖掘应用,商业和金融,Farmers Group 有限公司如何使用数据挖掘方法得出拥有跑车的人不具有高事故风险的假设。 美国银行（Bank of America ）使用数据挖掘侦测哪个客户正在使用美国银行的哪种产品，以便他们能够提供正确的产品和服务组合，更好地满足客户的需求。 美国西部通信（US West Communications）根据诸如家庭的大小、家庭成员的平均年龄和所在地这些特

21、征，使用数据挖掘和数据仓库来确定客户的倾向和需要。 20 世纪Fox公司分析票房收入来确定哪个演员、情节和电影在各市场环境中更容易为观众接受。,11/30/2020,数据挖掘应用,科学应用,射线爆是短暂的伽玛射线反射，它来源于我们太阳系之外。有关事件的记录已经超过1000 次。科学界普遍认为存在两种射线爆。Mukherjee 等人使用统计聚类分析法（一种数据挖掘方法）发现了第3 类射线爆。,11/30/2020,数据挖掘应用,运动和游戏,大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵

22、安排，在与迈阿密热队的比赛中找到了获胜的机会。 博彩产业将客户赌博方式的历史模型结合起来，确定客户在光顾他们喜欢的赌场时，会花（输）多少钱。,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,我们用归纳形成基本概念定义。我们看到代表动物、植物、建筑物和诸如此类的概念实例后，我们听到为这些个别实例做的标记，并选择我们认定的定义概念的特性（属性）形成我们自己的分类模型。这以后，我们使用模型帮助我们进一步来区分结构相似的对象。这种类型的学习称为基于归纳的有指导的概念学习，或简称有指导的学习(supervised learning ）,11/30/2020,数据挖掘的基本技术

23、,有指导的数据挖掘技术有指导的学习,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,如果病人淋巴肿，诊断为链球菌感染性咽炎。 如果病人没有淋巴肿的症状，但发烧，诊断为感冒。 如果病人没有淋巴肿，也不发烧，诊断为敏感症。,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,（1）IF 淋巴肿 = Yes THEN 诊断 = 链球菌感染性咽炎 （2) IF淋巴肿 = No & 发烧 = Yes THEN 诊断= 感冒 （3）IF 淋巴肿=No & 发烧 = No THEN

24、 诊断 = 敏感症,产生式规则,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,未知分类的数据实例,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,准确度 在检验集中符合产生式规则条件的实例正确显示规则所指定结果的比率。 覆盖率 在检验集中显示规则所指定结果的实例符合产生式规则条件的比率。,产生式规则应用效果的评价指标,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,分类 学习是有指导的。 因变量是分类的。 重点在于建立模型，将新的实例指派给一组定义明确的类中的一个。,有指导学习的类型,11/30/2020,数

25、据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,分类任务的例子 确定用于区分患过心脏病的人和从未患过心脏病的人的特征。 开发一个“成功”人士的特征文件。 确定一次信用卡购物是否为盗用。 将一次购车贷款申请归类为具备良好的或者不良的信用风险。 开发一个特征文件来区别女性与男性中风患者。,有指导学习的类型,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,估计 与分类模型相似，估计模型的目的在于确定一个未知输出属性的值。然而，不同于分类模型的是，对一个估计问题，其输出属性值（一个或多个）是数值的而不是分类的。,有指导学习的类型,11/30/2020,数据挖掘的基本技术

26、,有指导的数据挖掘技术有指导的学习,估计任务的例子 估计暴风雨到达某个给定地点所需要的分钟数。 估计拥有一辆跑车的人的收入。 估计信用卡已被盗的可能性。 估计伽马射线爆的长度。,有指导学习的类型,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,预测 与分类模型和估计模型不同，预测模型的目的在于确定未来的输出结果而不是当前的行为。预测模型的输出属性（一个或多个）可以是分类的或数值型的。,有指导学习的类型,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,预测任务的例子 预测2002 年全美橄榄球联盟（NFL）赛季中跑卫的触地总得分。 确定一个

27、信用卡客户是否可使用其信用卡账单提供的优惠。 预测下周道琼斯工业指数的收盘价格。 预测在未来的3个月内，哪些电话用户最有可能改变他们的供应商。,有指导学习的类型,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,Acme信用卡公司信用卡促销数据库,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,假设Acme 信用卡公司己经批准了一个与上表所列的以前的促销相似的新的寿险促销活动。这个促销材料将作为信用卡账单的一部分发送给非零余额的所有信用卡持有者。我们将使用数据挖掘来帮助我们把账单发送到选定的一组客户手中，他们当前没有信用卡余额，但有可能利用

28、促销机会。 我们的问题要求有指导数据挖掘使用寿险促销作为输出属性。我们的目的是开发一个可能利用寿险促销的客户的特征文件，该寿险促销是通过该客户下一次信用卡结算表来宣传的。,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学习,IF 性别=Female & 19=Age= 43 THEN 寿险促销=Yes 规则准确度：100.00% 规则覆盖率：66.67%,IF Sex=Male & Income Range=40-50K THEN寿险促销=No 规则准确度：100.00% 规则覆盖率：50.00%,11/30/2020,数据挖掘的基本技术,有指导的数据挖掘技术有指导的学

29、习,IF 信用卡保险=Yes THEN 寿险促销=Yes 规则准确度：100.00% 规则覆盖率：33.33%,IF 收入=30-40K & 手表促销=Yes THEN寿险促销=Yes 规则准确度：100.00% 规则覆盖率：33.33%,11/30/2020,数据挖掘的基本技术,无指导数据挖掘技术无指导聚类,与有指导学习不同，无指导聚类（unsupervised clustering ）为无预定义类数据建立模型。数据实例根据聚类系统定义的相似分类机制进行分组，在一种或多种评估技术的支持下，最终由我们确定所构造聚类的含义。,11/30/2020,数据挖掘的基本技术,无指导数据挖掘技术无指导聚类

30、,Acme 投资有限公司代理帐户数据,11/30/2020,数据挖掘的基本技术,无指导数据挖掘技术无指导聚类,有指导学习的典型问题 我可以开发一个在线投资人的一般特征文件吗？如果可以，区分在线投资者和使用经纪人的投资者的特征是什么？ 有一个新客户，他最初并没有开设交易保证金账户，我是否可以确定他在将来会开设这样的账户？ 我们能建立一个准确预测新投资人每月交易平均数的模型吗？ 女性和男性投资人有什么不同特征？,11/30/2020,数据挖掘的基本技术,无指导数据挖掘技术无指导聚类,无指导聚类的典型问题 哪些属性相似性决定Acme 投资公司的客户分组？ 属性值的哪些不同之处分割了客户数据库？,11

31、/30/2020,数据挖掘的基本技术,无指导数据挖掘技术无指导聚类,通过无指导聚类将客户划分为3类,IF 保证金帐户=Yes & 年龄=2029 & 收入=40-59K THEN Cluster=1 准确度0.80 覆盖率0.50 IF 帐户类型 = Custodial & 爱好=Skiing & 收入= 80-90K THEN Cluster=2 准确度=0.95 覆盖率=0.35 IF 帐户类型=Joint & 交易量/月5 & 交易方式=Online THEN Cluster=3 准确度0.82 覆盖率0.65,11/30/2020,数据挖掘的基本技术,关联规则挖掘技术,关联规则（ass

32、ociation rule）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同，关联规则可以有一个或多个输出属性。同时，一个规则的输出属性可以是另一规则的输入属性。 关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数目的属性可能生成上百条关联规则。,11/30/2020,数据挖掘的基本技术,关联规则挖掘技术,通过apriori关联规则挖掘算法，从Acme公司信用卡促销数据库可以得到以下关联规则：,IF 性别=Female & 年龄=over40 & 信用卡保险=No THEN 寿险促销=Yes IF 性别=Male & 年龄=ove

33、r40 & 信用卡保险=No THEN 寿险促销=No IF 性别=Female & Age= over40 THEN 信用卡保险=No & 寿险促销=Yes,11/30/2020,数据挖掘的基本算法,其它数据挖掘算法,K-平均值算法（一种无指导聚类算法） 遗传算法（可用于有指导学习的算法） 神经网络算法（可用于有指导学习的算法）,11/30/2020,目 录,大数据技术概论 云数据库技术 数据挖掘技术 商业智能,11/30/2020,BI理解,商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。,11/30/2020,BI概念,商业智能（Busine

34、ss Intelligence，简称BI）的概念最早是Gartner Group于1996年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。,11/30/2020,商业智能是一种解决方案，关键是从许多来自不同的企业运作系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extract

35、ion）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。,11/30/2020,外 部 数 据 库,MS SQL,ORACAL,外部 文件,ETL 工具,大数据平台， 数据 仓库,元数据,数据挖掘,OLAP分析,信息表现,查询报表,数据仓库数据模型,BI系统用户,元数据库,元数据,数据 描述,用法,结构安全设置,数据,数据,数据,查询,请求,商业

36、智能基本过程图,11/30/2020,信息孤岛,各自为政，互相独立,财务分析,11/30/2020,帮助企业提高战略决策,11/30/2020,商务智能对企业的作用和价值,11/30/2020,数据展现,数据管理,数据获取,数据迁移,作业分配 数据清洗,数据仓库 元数据管理,数据集市管理,安全性、 分析管理,企业商务智能体系架构规划,最终用户,数据源,ETL/EII,数据存储管理,业务模型,数据展现,数据分析,元数据管理（运营元数据、技术元数据、分析元数据）,IWAY,WEBFOCUS,DW,11/30/2020,决策支持系统解决五个层次的问题,以前发生了什么,为什么发生了,现在发生了什么,将

37、来会发生什么,业务活动管理,11/30/2020,商务智能5类前端展现的工具,固定报表,KPI指标,即席查询,例外分析,数据挖掘,11/30/2020,Copyright 2005 Business Objects Greater China. All rights reserved.,商业智能应用的三个阶段,阶段一: 报表 固定报表 灵活报表 复杂报表 报表共享 报表分发,阶段二: 查询分析 交互查询 切片钻取旋转 OLAP,阶段三: 高层次分析 AA/DM DSS,11/30/2020,商务智能的5个后台数据处理工具,ETL工具,实时数据抽取,数据质量防火墙,元数据管理,主数据管理,11/

38、30/2020,经营分析的关键主题,经营操作,分析决策,业务发展的趋势,客户行为分析,风险分析,竞争优势分析,客户服务分析,营业收入分析,绩效考核管理,入库率分析,产品组合分析,异常预警分析,11/30/2020,分析型客户关系管理,收入分析 市场细分 客户类型 地区 年度 业务部门,争取客户能力分析 市场细分 客户类型 地区 年份,客户成本分析 市场细分 客户类型 地区 年度 业务部门,客户活动周期分析,保留客户能力分析 市场细分 客户类型 地区 年份,客户忠诚度分析 市场细分 客户类型 地区 年份 业务部门,客户产品毛利分析 市场细分 客户类型 地区 年度 业务部门,市场细分表现分析 市场

39、活动 营销媒体 销售渠道 时段,目标市场表现分析 市场活动 营销媒体 销售渠道 时段,客户满意度分析 市场细分 客户类型 地区 年份 业务部门 活动,最佳/最差客户分析 历史收入 预测收入 平均定单销售额 重复购买率 加权评分,潜在流失客户分析 历史收入 预测收入 客户满意度 服务请求 加权评分,等等,11/30/2020,客户分析的关键主题,经营操作,分析决策,客户获取能力,客户保留能力,风险分析,交叉销售能力,向上销售能力,客户管理能力,客户轮廓分析,客户行为分析,产品组合分析,客户细分分析,11/30/2020,数据仓库建设应以应用主题驱动,主题 客户关系管理,问题 客 户 流 失 分 析,客户消费行为统计 客户群体的细分 存运票价的确定和客户的趋势分析 客户的满意程度 客户流失分析 获取新的客户 获利能力和在目标市场上所占的份额,模型 f(要素1,要素2要素n),模型 f(要素1,要素2要素n),11/30/2020,完整的、统一的数据模型 所有数据存储在单一数据库中 提供单一的“实事”数据,统一数据模型是基础,ThanksEmail: Mobile: 15288929976,