大学计算机基础大学计算机基础 (97).ppt

《大学计算机基础大学计算机基础 (97).ppt》由会员分享，可在线阅读，更多相关《大学计算机基础大学计算机基础 (97).ppt（19页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、大数据大数据是什么“大数据是一种新一代的技术和架构，具备高效率的捕捉、发现和分析能力，能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。”借用借用IDC数据公司的定数据公司的定义海量数据（交易数据、交互数据）海量数据（交易数据、交互数据）针对海量数据海量数据处理的解决方案理的解决方案=+大数据大数据大数据大数据 大数据的特征大数据大数据5V特征特征01 数量（Volume）02 速度（Velocity）03 种类（Variety）04 价值（Value）05 真实性（Veracity）新情况、新技术正因正因为数据的海量特点和真数据的海量特点和真实性的重要，大数据来源渠道也多性的重要，大数据来

2、源渠道也多种多种多样。01交易数据02 移动通信数据03人为数据04机器和传感器数据05互联网上的”开放数据”来源大数据时代的数据量远远超过单机所能容纳的数据量，因此必须采用分布式存储的方式。这就需要系统具有很好的扩展性，但这恰恰是传统数据库的弱势之一。数据数据时代的数据代的数据库系系统（1）规模效模效应所所带来的来的压力力传统的数据库比较适合结构化数据的存储，但是数据的多样性是大数据时代的显著特征之一。这也就是意味着除了结构化数据，半结构化和非结构化数据也将是大数据时代的重要数据类型组成部分。如何高效的处理多种数据类型是大数据时代数据库技术面临的重要挑战之一。数据数据时代的数据代的数据库系系

3、统（2）数据）数据类型的多型的多样化化数据数据时代的数据代的数据库系系统（3）设计理念的冲突理念的冲突01“One size fits all”02“One size fits one”03“One size fits domain”数据数据时代的数据代的数据库系系统（4）数据）数据库事事务特性特性关系数据库中事务的正确执行必须满足ACID 特性，即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。对于数据强一致性的严格要求使其在很多大数据场景中无法应用。应对大数据的数据大数据的数据库技技术创新新大数据存大数据存储高热

4、数据云数据库云数据库MemcachedRedis云数据库RDS开放存储服务OSS非结构化数据结构化数据ECS自建数据库传统自建数据库数据传输云数据库应对大数据的数据大数据的数据库技技术创新新云数据云数据库应对大数据的数据大数据的数据库技技术创新新大数据大数据检索索应用数据云数据库RDS开放搜索服务OpenSearch云服务器ECS高级结构化数据搜索应对大数据的数据大数据的数据库技技术创新新虚虚拟化化虚拟化前虚拟化后APP1APP1APP2APP2APP3APP3OSOS硬件硬件硬件硬件VMMVMMVMVMVMVMVMVMOS1OS1OS2OS2OS3OS3APP1APP1APP2APP2APP3APP3大数据时代的数据分析需要满足及时有效的要求，既要能处理高速的数据，又要能够实现实时的分析。那些结构化数据由关系数据库管理系统（RDBMS）处理了，而那些非结构化数据呢？01是以MPP数据库（大规模并行数据库）为首的并列关系数据库方向。对大数据进行处理，目前有两大主流的方向：02是以MapReduce为首的分布式NoSQL非关系型数据库方向。HBaseRow KeyColumn Family 图书Column Family 出版社出版社书名作者单价名称电话1红与黑司汤达26.5新蕾出版社 022-2354895423