大数据与云数据管理教材课件.ppt

《大数据与云数据管理教材课件.ppt》由会员分享，可在线阅读，更多相关《大数据与云数据管理教材课件.ppt（88页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第第9章章 大数据与云数据管理大数据与云数据管理大数据大数据云云计算算云数据管理云数据管理 有关大数据的两个有关大数据的两个问题问题1：你知道什么是：你知道什么是“大数据大数据”吗？如果你不知道，那么你很可能如果你不知道，那么你很可能OUT了！了！问题2：你听：你听说过“大数据大数据”吗？如果你如果你连“大数据大数据”听都没听听都没听过，那么你，那么你绝对OUT了！了！你认识这位老兄吗？你认识这位老兄吗？如果你连这位老兄都不认识，那你也太如果你连这位老兄都不认识，那你也太OUT了！了！斯诺登事件带给我们的最大震动是什么？斯诺登事件带给我们的最大震动是什么？不在于他暴露了美国政府正在监听全世界这

2、件事不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对情。因为，这早已是公开的秘密，对“世界警察世界警察”而言，这没有什么值得大惊小怪的而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获取、而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用存储、管理、分析和使用“大数据大数据”的超强能力。的超强能力。这使美国政府获得了相对他国政府更明显的优势这使美国政府获得了相对他国政府更明显的优势！大数据为大数据为“世界警察世界警察”的的“大拳头大拳头”装上了装上了“大大眼睛眼睛”、“大耳朵大耳朵”和和“大脑袋大脑袋”！目前目前IT领域最引人关注

3、的三个热词是什么？领域最引人关注的三个热词是什么？大数据大数据云计算云计算物联网物联网其他：移动互联网，社交网，其他：移动互联网，社交网，XXX2.0/3.0/什么是大数据？什么是大数据？来源：来源：2008年年9月月科学科学(Science)杂志发杂志发表了一篇文章表了一篇文章“Big Data:Science in the Petabyte Era”，从此从此“大数据大数据”这个词开这个词开始被广泛传播。始被广泛传播。什么是大数据？什么是大数据？没有统一定义，因为没有统一定义，因为“大大”是一个相对是一个相对“小小”而言概念。而言概念。与大数据与大数据(Big Data)相类似的词汇：相类

4、似的词汇：Large Scale 大规模大规模,Very Large 超大规模超大规模,Massive 海量海量什么是大数据？什么是大数据？从历史发展的视角看这几个从历史发展的视角看这几个词：词：Very Large表示表示GB级别的数据级别的数据Massive表示表示TB级的数据级的数据Big Data表示表示PB级别及其以上级别及其以上的数据的数据显然，争论它们中哪一个更显然，争论它们中哪一个更大没有什么意义。大没有什么意义。什么是大数据？什么是大数据？一个普遍接受的定一个普遍接受的定义大数据是指无法在可容忍的大数据是指无法在可容忍的时间内用内用传统方方法或工具法或工具对其其进行抓取、管理

5、和行抓取、管理和处理的数据理的数据集合。集合。数据集数据集组成非常巨大和复成非常巨大和复杂，以至于，以至于传统数数据据库管理工具管理工具处理起来面理起来面临很多很多问题。获取、存取、存储、检索、共享、分析和可索、共享、分析和可视化。化。数据量达到数据量达到PB、EB或或ZB级别。*fromBigDatawikipedia.fromBigDatawikipedia.难道道这就是大数据？就是大数据？难道道这就是大数据？就是大数据？大数据产生的背景数据量 3个月翻一番通信速度 6个月翻一番存储容量 9个月翻一番集成电路 18个月翻一番现在网络环境下每18个月产生的数据量相当于过去几千年的数据量之和数

6、据之多，数据量之大，前所未有大数据有多大？大数据有多大？以互以互联网网为例例Facebook截止2012年4月，每日评论已达32亿条；每天新上传照片近3亿张。每周新增图片容量约60TB，图片总量约2600亿张，已超过20PB。平均每秒3500次写操作，读操作的峰值可以达到每秒百万次。Amazon目前目前EC2有有约450000台服台服务器器(存存储+处理理)。*数据来自数据来自FacebookFacebook于于20122012年年4 4月提交的监管文件。月提交的监管文件。*数据来源于亚马逊数据来源于亚马逊20122012年年4 4月的官方介绍材料。月的官方介绍材料。大数据有多大？大数据有多大

7、？多，多，实在是多！在是多！繁，繁，实在是繁！在是繁！大，大，实在是大！在是大！No data like more data!数据永数据永远也不嫌多！也不嫌多！大数据从何而来？大数据从何而来？机器机器存存储软件、系件、系统文件、基文件、基础数据数据元数据元数据(如索引如索引)冗余、冗余、备份份处理理原始数据的自原始数据的自动加工：加工：压缩、聚、聚类、规则适用、可适用、可视化、智能衍生化、智能衍生传播播负载迁移、分布式共享迁移、分布式共享(如如P2P)大数据从何而来？大数据从何而来？人人内容提供商内容提供商新新闻报道、道、时事事评论、广告宣、广告宣传音音频、视频、微、微视频职业撰稿人撰稿人网网

8、络作家、写手、推手、水作家、写手、推手、水军普通大众普通大众博文、博文、图片、音片、音乐、视频SNS网网络传播播评论、转发大数据从何而来？大数据从何而来？物理世界物理世界无所不在的感知数据无所不在的感知数据传感感节点点(压力、温度、湿度、声光力、温度、湿度、声光电)无无线宽频信号采信号采样、太湖、太湖蓝藻藻检测、PM 2.5视频监控控目前目前1路路720P高清高清视频摄像数据每小像数据每小时视频录像像3GB左右。按一左右。按一个月保存个月保存时间要求要求计算，算，3GB/小小时24小小时30天天1路路=2.16T。一。一个个拥有有500路高清路高清视频摄像，需要保存像，需要保存1个月的个月的监

9、控系控系统所需的最所需的最少存少存储容量是容量是1PB。对地地观测资源三号源三号卫星在运行前两个月的星在运行前两个月的时间内，内，产生生37TB的原始影像数的原始影像数据。据。这是后是后续互互联网地网地图的基的基础。天文物理、气象、医学等天文物理、气象、医学等专业领域数据域数据大数据向何而去？大数据向何而去？服服务如果不能提供服如果不能提供服务，大数据就没有意，大数据就没有意义。面向人、机、物的服面向人、机、物的服务物理世界：需要足物理世界：需要足够的采的采样数据数据机器：需要数据具有关机器：需要数据具有关联度，能度，能够从中分析出有用信从中分析出有用信息，非息，非结构化构化半半结构化构化结构

10、化构化人：能人：能够直接使用数据的表直接使用数据的表现形式，形式，进行生行生产和决策和决策大数据为什么重要？大数据为什么重要？2012年年3月月29日，奥巴马政府宣布投资日，奥巴马政府宣布投资2亿亿美元启动美元启动“大数据研究和发展计划大数据研究和发展计划”，美国，美国政府已把政府已把“大数据大数据”上升到了国家战略的层上升到了国家战略的层面。面。中国政府和业界对中国政府和业界对“大数据大数据”高度重视并高度重视并在大力推进。据报道，今年两会上已有委员在大力推进。据报道，今年两会上已有委员提出将大数据列入国家发展战略。提出将大数据列入国家发展战略。20大数据的特征大数据的特征容量大容量大容量大

11、容量大1电子商务电子商务科学计算科学计算网络生活网络生活每月交易21亿笔，产生300TB交易日志信息 7亿用户、400亿张照片，总容量超过1500TB新墨西哥州的天文望远镜每年产生80TB的图像信息美国国会图书馆存档信息量：约美国国会图书馆存档信息量：约 80TB生物信息生物信息第一个中国人的全基因组图谱，1177亿碱基对21大数据的特征大数据的特征增加快增加快增加快增加快2许多数据是人造出来的！许多数据是人造出来的！例子：北京至纽约的客机有千余个传感器，例子：北京至纽约的客机有千余个传感器，一次飞机记录的数据达数百一次飞机记录的数据达数百T T至至P P级。级。22大数据的特征大数据的特征非

12、结构化非结构化非结构化非结构化3非结构化非结构化=没有找到共性特征没有找到共性特征多层结构多层结构大数据的构成大数据的构成大数据的大数据的4V特性特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后

13、见效Volume 数据量数据量PB是大数据层次的临界点是大数据层次的临界点.KB-MB-GB-TB-PB-EB-ZB-YB-NB-DBValue 价价值挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低价值密度低,是大数据的一个典型特征是大数据的一个典型特征.Variety 多多样性性企业内部的经营交易信息，物联网世界中商品，物流信息；互联网世界中人与人交互信息，位置信息等是大数据的主要来源。能能够在不同的数据在不同的数据类型中，型中，进行交叉分析的技行交叉分析的技术，是大数，是大数据的核心技据的核心技术之一。之一。语义分析技术，图文转换技术，模式识别技术，地理信息技术

14、等，都会在大数据分析时获得应用。Velocity 速度速度1s 是临界点。对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的。实时处理的要求理的要求,是区是区别大数据引用和大数据引用和传统数据数据仓库技技术、BI技技术的关的关键差差别之一之一。脸谱脸谱(Facebook)(Facebook)数据中心数据中心微软微软(Microsoft)(Microsoft)数据中心数据中心苹果苹果(Apple)(Apple)数据中心数据中心谷歌谷歌(Google)(Google)数据中心数据中心数据中心数据中心看上去，规模庞大看上去，规模庞大4大数据管理的基大数据管理的基础数据中心数据

15、中心30数据中心数据中心走进去，结构复杂走进去，结构复杂4大数据管理的基大数据管理的基础数据中心数据中心数据数据库与大数据与大数据GB/TB级高质量、较干净强结构化Top-down重交易确定解数据库数据库vs大数据大数据*传统数据库传统数据库/数据仓库数据仓库PB级以上有噪声、有冗余非结构化Bottom-up重交互满意解大数据大数据*摘自李德毅院士于摘自李德毅院士于20122012年年5 5月月2323日在云计算大会上的讲话，略有修改日在云计算大会上的讲话，略有修改“大数据”是数据增长从量变到质变的里程碑从人的从人的认知角度来看，在数据量比知角度来看，在数据量比较小的情况下，我小的情况下，我们

16、基于典型的数基于典型的数据去思考。据去思考。例如，我例如，我们可以可以设计一个数据模型来管理目前没遇到但以后可能遇到一个数据模型来管理目前没遇到但以后可能遇到的数据，或者的数据，或者设计一个精妙的算法正确高效地一个精妙的算法正确高效地处理将来可能遇到的数理将来可能遇到的数据和各种情况。据和各种情况。而大数据而大数据则颠覆了覆了这一假定，目前的数据量已足一假定，目前的数据量已足够大，足以包大，足以包罗万象，万象，充分利用充分利用现有数据得出的全面而有数据得出的全面而简约的数据模型和算法足以的数据模型和算法足以应对我我们可能遇到的各种情况。可能遇到的各种情况。换言之，数据模型与算法言之，数据模型与

17、算法设计的首要任的首要任务不再是人基于少量数据的思不再是人基于少量数据的思考，而是机器基于海量数据的分析考，而是机器基于海量数据的分析归类。从基于猜从基于猜测假定的假定的设计到基于事到基于事实和和经验的的归纳总结，是人，是人类认知知过程的程的进步。步。这是一个革命性的是一个革命性的进展，是大数据之所以激展，是大数据之所以激动人心的根本。人心的根本。大数据不仅仅是“大”多大？PB 级比大大更重要的是数据的复杂性数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值大数据的应用不仅仅是精准营销通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔

18、的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象软件是驱动大数据的引擎和数据中心和数据中心(Data Center)一一样，软件是大件是大数据的数据的驱动力。力。软件改件改变世界！世界！大数据生态:软件是引擎前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广

19、告的价值就越高。这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。互联网越来越智能互联网越来越智能Google精确掌握用户行为、获取需求精确掌握用户行为、获取需求微博为新浪带来巨大价值微博为新浪带来巨大价值马云的判断来自于数据分析马云的判断来自于数据分析“2008年初年初,阿里阿里巴巴平台上巴巴平台上整个整个买买家家询盘数急剧下滑询盘数急剧下滑，欧美对中国采购在欧美对中国采购在下滑。海关是卖了下滑。海关是卖了货货,出去以后再获出去以后再获得数据得数据;而我们提而我们提前半年时间从询盘前半年时间从询盘上推

20、断出世界贸易上推断出世界贸易发生变化了发生变化了。”马云对未来的预测，是建立在对用户行文分析的基础上。马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。更高一层数据层面整合企业内外部更高数据层面整合利用用户”行

21、为指纹”创造新商机用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸。大数据应用中的陷阱大数据应用中的陷阱邦弗朗尼原理邦弗朗尼原理(Bonferronis Principle)邦弗朗尼原理邦弗朗尼原理:在数据随机性假设的基础上，计算所寻找的事件的发生的期望值，如果该期望值大于找到的真实事件的数目，则所找到的事件很可能是一种

22、假象假象。即随着数据规模数据规模的不断增加，任何数据都会显现出一些不同寻常的特征，这些特征看上去似乎非常重要，但实际上却并不重要。42整体情整体情报预警的故事警的故事设有一群恐怖分子会偶有一群恐怖分子会偶尔在酒店聚会策划恐在酒店聚会策划恐怖阴怖阴谋。想找出那些同一天在同一个酒店至少出想找出那些同一天在同一个酒店至少出现两两次的人群。次的人群。43假假设被监控的人数：10亿(109)被监控的天数：1000 days每个人去酒店的概率 1%(1000天里住10天酒店)有 10万(105)家酒店，每家酒店可容纳100 人 每个人行为都是随机的。通过数据挖掘能发现可疑行为吗？44Calculation

23、s (1)人员 p 和人员 q 同一天在同一个酒店出现的概率:1/100 1/100 10-5=10-9.人员p 和 q 在d1 和 d2 出现在同一个酒店的概率:10-9 10-9=10-18.1000天任意两天的排列组合:5105.p atsomehotelq atsomehotelSamehotel45Calculations (2)人员 p 和 q 在任意两天出现在同一个酒店的概率:5105 10-18=510-13.可能的人数是10亿，任意两个人的排列组合是:51017.平均可疑的人员对的数目:51017 510-13=250,000.实际上他们是纯随机导致的巧合46结论假假设真的有

24、真的有10 对恐怖分子在同一个酒店出恐怖分子在同一个酒店出现两次两次那么需要那么需要扫描描250,010 对候候选人才能找出人才能找出这10对恐怖分子恐怖分子这个方法好个方法好吗？“大数据大数据”是不能乱用的！是不能乱用的！大数据与云数据管理大数据与云数据管理大数据大数据云云计算算云数据管理云数据管理 云计算（Cloud Computing）,2007年第3季度才诞生的新名词，仅过了半年多，其受到关注程度就超过网格计算（Grid Computing），而且关注度至今一直居高不下 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间

25、和信息服务。云计算到底是什么？云计算有什么特点？云计算起源和发展1961年斯坦福教授年斯坦福教授John McCarthy 提出提出计算算资源可以源可以成成为一种重要的新型工一种重要的新型工业基基础。类似水、似水、电、气和、气和通信。通信。1999年年Salesforce成立，成立，2001年年发布在布在线CRM系系统2001年年Google CEO Eric Schmidt 在搜索引擎大会上首在搜索引擎大会上首次提出次提出”Cloud Computing“概念。概念。2003年年Google逐步开始在内部使用云逐步开始在内部使用云计算，算，2008年年推出推出Google AppEngine

26、云云计算平台算平台2006年年Amazon正式正式对外推出外推出弹性性计算服算服务(EC2)。各大全球知名厂商跟。各大全球知名厂商跟进(IBM,MicroSoft.)51什么是云什么是云计算算?计计 算算：对对数数值值或或信信息息进进行行处处理理并并得得到到结结果果的的过过程程，有有时时也也指计算方式。指计算方式。1+1=2 flower.bmp1+1=2 flower.bmpflower.jpgflower.jpg云云：由由网网络络连连接接起起来来的的各各种种计计算算资资源源(包包括括计计算算设设备备和和其其上上的软件的软件)云云计计算算：运运用用由由网网络络连连接接起起来来的的大大量量虚虚

27、拟拟化化的的计计算算设设备备对对信信息息进进行行处处理理并并得得到到结结果果的的一一种种计计算算方方式式。不不是是一一种种产产品品，也也不是一种技术，而是一种产生和获取计算能力的模式。不是一种技术，而是一种产生和获取计算能力的模式。52大型机时代大型机时代1960年代 1980年代 2000年代 1990年代 微型机时代微型机时代个人计算机变革个人计算机变革q将只在特定行业中应用的大型主机变成每个人都负担得起的个人电脑，大幅度提高了个人生产效率和企业效率互联网变革互联网变革q将数以亿万计的信息孤岛汇集成庞大的信息网络，极大的提高了人类沟通，共享和协作的效率，丰富了社交和娱乐生活互联网时代互联网

28、时代云计算变革云计算变革q将IT基础设施转变为像水和煤气一样的社会公用基础设施q超级数据中心成为IT资源和服务的提供者技术技术云计算时代云计算时代时间时间云计算是继个人计算机、互联网变革之后的第三次云计算是继个人计算机、互联网变革之后的第三次IT革命革命云计算的由来云计算的由来云云计算定算定义云计算(Cloud Computing)：是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。是指基于互互联网网的超级计算模式-即把存储于个人个人电脑、移移动电话

29、和其他设备上的大量信息和处理器理器资源集中在一起，协同工作。在极大规模上可扩展的信息技术能力向外部客户作为服务来提供的一种计算方式。使得计算资源如同用水、用电、用燃气一样40多多亿的移的移动电话一一 2010年 数据来源:Nokia个人个人电脑和和笔笔记本本电脑企企业电脑和服和服务器器PDA54从不同角度看云从不同角度看云计算的内涵算的内涵1.1.云计算是一种云计算是一种ITIT基础设施交付和使用模式基础设施交付和使用模式从从原原理理看看，云云计计算算是是将将计计算算工工作作分分布布在在大大量量的的、分分布布式式的的计计算算机机上上，从从而而利利用用大大量量计计算算资资源源(包包括括硬硬件件设

30、设备备、软软件件及及网网络络等等ITIT基基础础设设施施)完完成成所所要要求求的的计计算任务。算任务。云计算环境下，与传统的云计算环境下，与传统的ITIT基础设施交付和使用模式的主要区别：基础设施交付和使用模式的主要区别：1.1.基础设施建设运维方式不同：基础设施所有权和运维责任基础设施建设运维方式不同：基础设施所有权和运维责任2.2.交付和使用的便捷性不同：提供商交付方式和用户使用方式交付和使用的便捷性不同：提供商交付方式和用户使用方式55从不同角度看云从不同角度看云计算的内涵算的内涵2.2.云计算是一种信息服务的交付和使用模式云计算是一种信息服务的交付和使用模式从商业层面看，云计算提供的是

31、而且仅是服务从商业层面看，云计算提供的是而且仅是服务可以统称为可以统称为“云服务云服务”。从从云云计计算算服服务务商商和和云云计计算算用用户户间间的的关关系系看看，服服务务商商并并未未向向用用户户提提供供硬硬件件、软软件件等等事事物物或或具具体体产产品品，而而是是运运用用自自己己所所掌掌握握的的ITIT资资源源帮帮助助用用户户完完成成计计算算任任务务，满满足足用用户户使使用用软软硬件设备或获得信息的需要硬件设备或获得信息的需要。基基础设施作施作为服服务(IaaS)平台作平台作为服服务(PaaS)软件作件作为服服务(SaaS)服服务器器网网络存存储中中间件件协同合作同合作业务流程流程CRM/ER

32、P/HR行行业应用用数据中心数据中心Fabric共享的虚共享的虚拟化的化的,动态部属部属数据数据库Web 2.0 应用运行用运行环境境Java运行运行环境境开开发工具工具云计算分类Computing onDemandBlue Cloud,PureScale Appliication System市市场的的例子例子IBM 的的例子例子Source:Hagen Wenzek CHQ Strategy,2/09云计算分类操作系统+应用服务引擎应用系统基基础础设设施施应应用用平平台台应应用用软软件件(IaaS)(PaaS)(SaaS)根据提供的服务类型，将云计算应用(服务)分为三类Infrastruc

33、ture as a Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/安全等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：Amazon Web服务IDCPlatform as a Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：Google AppEngine,IBMPureScale Application System,SAESoftware as a Service用户通过标准的Web浏览器来使用Internet上的软件。用户不必购买软件，只需按需租用

34、软件典型应用：LotusLive,S58从不同角度看云从不同角度看云计算的内涵算的内涵3.3.云计算是一种基于互联网的新型计算模式云计算是一种基于互联网的新型计算模式从从数数值值和和信信息息处处理理的的角角度度看看，云云计计算算是是通通过过互互联联网网将将计计算算任任务务分分布布到到由由大大量量计计算算机机构构成成的的资资源源池池上上，从从而而使使用用户户能能够够根根据据需需要要获获取取计计算算能能力力、存存储储空空和和信息服务。信息服务。云计算的四方面新特征：云计算的四方面新特征：1.1.资源汇聚：计算资源汇聚在一起通过多租户模式服务多个消费者资源汇聚：计算资源汇聚在一起通过多租户模式服务多

35、个消费者2.2.快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应3.3.按需的自助服务：消费者能够根据自己的需要获取计算能力按需的自助服务：消费者能够根据自己的需要获取计算能力4.4.可控可计量：系统根据服务类型提供相应的计量方式可控可计量：系统根据服务类型提供相应的计量方式59云计算服务对象：在各行各业、各种组织、各种产业拓展应用范围云计算服务内容：从基础架构、在线存储、软件服务扩展到各种应用领域云计算服务形式：更简单易用、更安全、更智能的差异化服务从行业视角满足中小企业、政府部门、科研教育、娱乐、商业企业的信息化需求成为互联网

36、企业的运营平台和资源平台成为人民群众生活的必需品从产业领域视角成为物联网信息存储、分析的智能化平台成为移动互联网的基础信息支撑平台成为移动电子商务、移动支付的支持平台逐步进入网络通信基础设施领域已有主要服务内容基础设施即服务/IaaS软件平台即服务/PaaS软件即服务/SaaS存储即服务/DaaSXaaS一切皆服务，延伸到各种应用硬件即服务：终端设备成为服务发布形式消息即服务：消息中间件成为服务监控即服务：监控内容成为服务现存各种应用均被云服务化更为便捷：就像现在水、电、气、通信那样简单，打开即用，关闭即停，按需使用，用完充值隐私和信息安全更有保障：用户信息隔离、网络传输加密、高强度身份认证、

37、服务商数据安全审核更智能化：用户服务状态恢复、信息推荐、精准营销、预测用户潜在信息需求、差异化服务：提供从免费、普通用户、中端用户、高端用户的各种服务，按质论价云服务云服务云云计算的算的优势数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；无限强大的计算：具有无限空间的，无限速度。硬件为中心硬件为中心软件为中心软件为中心 服务为中心服务为中心 PCC/S云计算天下大天下大势，合久必分，分久必合，合久必分，分久必合，计算机技算机技术的分合演的分合演义早期早期计算技算技术以以“合合”为特征特征:曲

38、高和寡曲高和寡PC的的发展使展使“分分”成成为了主流了主流:旧旧时王王谢堂前燕，堂前燕，飞入入寻常百姓家常百姓家网网络技技术的的发展使云展使云计算成算成为了了“合合”的模式，的模式，计算和存算和存储通通过网网络隐形于云端：形于云端：大象无形大象无形云云计算体系算体系结构构云计算的基本原理是通过使计算分布在大量的云计算的基本原理是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，这使得企业能够将资源切换到需要的应用上，根据

39、需求访问计算机和存储系统。根据需求访问计算机和存储系统。云云计算算发展路展路线并行计算集群计算网格计算云计算l在动态、多在动态、多机构参与的虚机构参与的虚拟组织中协同拟组织中协同共享资源和求共享资源和求解问题解问题 l同时使用同时使用多种计算资多种计算资源解决计算源解决计算问题的过程问题的过程 l将需要巨大将需要巨大计算能力的计算能力的问题分成许问题分成许多小部分进多小部分进行处理，最行处理，最后综合结果后综合结果分布式计算分布式计算 并行计算网格计算网格计算 云计算云计算特点超大规模超大规模 虚拟化虚拟化高可靠性高可靠性 通用性通用性 高可伸缩性高可伸缩性 按需服务按需服务 极其廉价极其廉价

40、 超大规模超大规模 虚拟化虚拟化高可靠性高可靠性 通用性通用性 高可伸缩性高可伸缩性 按需服务按需服务 极其廉价极其廉价 云计算技术体系结构云云计算与大数据算与大数据大数据大数据虽然不是云然不是云计算，但却是云算，但却是云计算的灵魂和升算的灵魂和升级方向。方向。云云计算的核心是算的核心是业务模式，本模式，本质是数据是数据处理技理技术。数据是数据是资产，云，云为数据数据资产提供了保管、提供了保管、访问的的场所和渠道。所和渠道。如何如何盘活数据活数据资产，使其，使其为国家治理、企国家治理、企业决策乃决策乃至个人生活服至个人生活服务，是大数据的核心，是大数据的核心议题，也是云，也是云计算内在的灵魂和

41、必然的升算内在的灵魂和必然的升级方向。方向。云云计算与大数据算与大数据本本质上，云上，云计算与大数据的关系是算与大数据的关系是“静静”与与“动的关系；的关系；云云计算算强调的是的是计算，算，这是是动的概念；的概念；而数据而数据则是是计算的算的对象，是静的概念。象，是静的概念。如果如果结合合实际的的应用，前者用，前者强调的是的是计算能力，或算能力，或者看重的存者看重的存储能力；能力；云云计算与大数据算与大数据但是但是这样说，并不意味着两个概念就如此，并不意味着两个概念就如此泾渭分明。渭分明。一方面，大数据需要一方面，大数据需要处理大数据的能力理大数据的能力(数据数据获取、取、清清洁、转换、统计等

42、能力等能力)，其，其实就是就是强大的大的计算能算能力；力；另一方面，云另一方面，云计算的算的“动”也是相也是相对而言，比如基而言，比如基础设施即服施即服务(IaaS)中的存中的存储设备提供的主要是数据存提供的主要是数据存储能力，所以可能力，所以可谓是是动中有静。中有静。云云计算与大数据算与大数据如果数据是如果数据是财富，那么大数据就是宝藏，富，那么大数据就是宝藏，而云而云计算就是挖掘和利用宝藏的利器！算就是挖掘和利用宝藏的利器！没有没有强大的大的计算能力，数据宝藏算能力，数据宝藏终究是究是镜中花；中花；没有大数据的没有大数据的积淀，云淀，云计算也只能是算也只能是杀鸡用的宰牛刀！用的宰牛刀！大数

43、据比云大数据比云计算更算更为落地落地商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据与云数据管理大数据与云数据管理大数据大数据云云计算算云数据管理云数据管理 什么是云数据管理？什么是云数据管理？云数据管理是指通云数据管理是指通过集群集群应用、网格技用、网格技术或分布或分布式文件系式文件系统等，将网等，将网络中大量各种不同中大量各种不同类型的存型的存储设备通通过应用用软件集合起来件集合起来协同工作，共同同工作，共同对外提供数据存外提供数据存储和和业务访问功能的一个系功能的一个系统。云数据管理的基云数据管理的基础是云存是云存储，其核心是以，其核心是以No SQL(New SQL)为

44、代表的新一代云数据存代表的新一代云数据存储(库)系系统。云数据管理的背景云数据管理的背景随着云随着云计算中大数据集高效管理、海量数据中特算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准定数据的快速定位、云端海量数据精准查询等迫等迫切需求的日益切需求的日益显现,Web数据管理正逐步向云数据数据管理正逐步向云数据管理管理阶段段发展展,一个新的云数据管理研究一个新的云数据管理研究领域正逐域正逐渐形成。形成。云数据管理的背景云数据管理的背景云数据管理在云云数据管理在云计算概念上延伸和算概念上延伸和发展出来的一展出来的一个新的概念。个新的概念。云数据管理使更大数据量的云数据管理使更大

45、数据量的处理成理成为可能，被称可能，被称为下一代的因特网下一代的因特网计算和下一代的数据中心。算和下一代的数据中心。Web应用作用作为推推动云云计算算发展的主力，正快速的展的主力，正快速的普及成熟起来，它需要能普及成熟起来，它需要能够按需按需进行行扩展，企展，企业都希望他都希望他们的的Web应用系用系统能能够应对不断增不断增长的的用用户量和数据量，以及适量和数据量，以及适应用用户和其它开和其它开发人人员对WEB应用系用系统的高吞吐量和低响的高吞吐量和低响应时间的要求。的要求。云数据管理的背景云数据管理的背景通通过云云计算技算技术，网，网络服服务提供者可以在数秒之内，提供者可以在数秒之内，处理数

46、以千万理数以千万计甚至甚至亿计的信息，达到和的信息，达到和“超超级计算机算机”同同样强大的网大的网络服服务。系系统必必须以低延以低延迟的响的响应速度速度(几十毫秒几十毫秒)、高吞吐、高吞吐量量(每秒上万的每秒上万的读写写)为世界范世界范围内的用内的用户请求提供求提供服服务。并且，并且，应用必用必须具具备高可用性，高可用性，长期期维持最小的运持最小的运维成本。成本。但是，如果但是，如果WEB应用系用系统仍然依仍然依赖传统的关系的关系(SQL)数据数据库系系统，我，我们会会发现数据存数据存储将成将成为最最大的瓶大的瓶颈。云数据管理的背景云数据管理的背景幸运的是我幸运的是我们已不再需要提供完整的事已

47、不再需要提供完整的事务(ACID)支持，支持，单独的系独的系统也可以也可以执行复行复杂的分析任的分析任务，比如像比如像Hadoop这样的的map-reduce平台。平台。对于于许多多应用程序来用程序来说，它，它们处理的理的请求相比求相比传统数据管理更数据管理更为简单。数据可能是用数据可能是用户的会的会话数据，用数据，用户在网在网页上所有上所有的行的行为只涉及只涉及单条条记录的的读写。写。应用也有可能是社交化的，用也有可能是社交化的，对于社交活于社交活动可能会可能会被写入被写入单条的用条的用户记录，而用，而用户的朋友的朋友们的活的活动需要从少量的其他用需要从少量的其他用户记录中中读取。取。云数据

48、管理的背景云数据管理的背景这些挑些挑战推推动了新一代数据存了新一代数据存储管理系管理系统的的发展，展，该系系统基于大型基于大型(可能包括成千上万台机器的集群可能包括成千上万台机器的集群)分布式架构。分布式架构。为了容了容错，所有数据会在数据中心内被复制。，所有数据会在数据中心内被复制。甚至有些数据甚至有些数据为了保了保证低延低延迟读取，需要横跨多取，需要横跨多个数据中心个数据中心进行地域性复制。行地域性复制。为了了满足构建多租足构建多租户(multi-tenanted)模式的需要，模式的需要，大型分布式架构能大型分布式架构能够根据自身需求根据自身需求扩大容量，并大容量，并且多个且多个应用的托管

49、系用的托管系统可以共享底可以共享底层的的资源。源。传统关系型数据关系型数据库的限制的限制l扩展困展困难：由于存在类似Join这样多表查询机制，使得数据库在扩展方面很艰难；l读写速度慢：写速度慢：这种情况主要发生在数据量达到一定规模时由于关系型数据库的内部逻辑非常复杂，使得其很容易发生死锁等的并发问题，而这将导致其读写速度严重下滑；l成本高成本高：企业级数据库的License价格很惊人，并且随着系统的规模扩大，而不断上升；l有限的支撑容量有限的支撑容量：现有关系型解决方案还无法支撑Google这样海量的数据存储；云数据管理的需求云数据管理的需求l低延低延迟的的读写速度写速度：应用快速地反应能极大

50、地提升用户满意度；l支撑海量的数据和流量支撑海量的数据和流量：对于搜索这样大型应用，需要利用PB级别的数据和能应对百万级的流量；l大大规模集群的管理模集群的管理：系统管理员希望分布式应用能更简单的部署和管理；l庞大运大运营成本的考量成本的考量：IT经理和CFO们都希望在硬件成本、软件成本和人力成本上面能够有大幅度地降低；云数据管理准云数据管理准则(1)切分万物以治之切分万物以治之Partition Everything and key-value storage数据库的第一范式无法满足云数据管理准云数据管理准则(2)容不同乃成大同容不同乃成大同Embrace Inconsistency 数据库