通过 Oracle Database c 进行内存数据库处理.pptx

《通过 Oracle Database c 进行内存数据库处理.pptx》由会员分享，可在线阅读，更多相关《通过 Oracle Database c 进行内存数据库处理.pptx（32页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、用用 Oracle Database 12c 进行内存数据库进行内存数据库处理处理Kevin Jernigan产品管理高级总监Oracle 系统技术部第1页/共33页以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排均由 Oracle 自行决定。第2页/共33页内存趋势和影响内存趋势和影响现在的内存速度更快、价格更低、容量更多内存容量内存容量 增加增加2002256 MB/DIMM201216 GB/DIMM内存成本内存

2、成本降低降低2002$0.2/MB2012$0.009/MB内存速度内存速度大增大增磁盘5 毫秒响应速度DRAM100 纳秒响应速度容量增加容量增加 64 倍倍价格便宜价格便宜 25 倍倍速度提高速度提高 50,000 倍倍更快的 OLTP 和分析、更多用户、更多数据DRAM：2012$0.0005/MB2012100 GB/DOM闪存0.25 毫秒响应速度容量增加容量增加 400 倍倍价格便宜价格便宜 400 倍倍速度提高速度提高 20 倍倍闪存：闪存：第3页/共33页Oracle 内存内存 SQL 关系数据库关系数据库Oracle TimesTen 和 Oracle DatabaseOra

3、cle TimesTenIMDB 领域的技术领导者纯 IMDB 所有数据必须装入内存IMDB 领域的市场领导者数千个客户Oracle Database数据库和 IMDB 领域的技术领导者30 年数据库创新经验10 年 IMDB 创新经验磁盘与内存混合数据库数据库领域的市场领导者300,000 多个客户应用程序应用程序应用程序内存数据库内存数据库（中间层）（中间层）内存数据库内存数据库 （数据库层）（数据库层）第4页/共33页Oracle TimesTen 内存数据库内存数据库适用于 OLTP 和商务智能的内存数据库针对针对 Exalytics 商务商务智能进行设计智能进行设计内存列式压缩复杂查

4、询针对针对 OLTP 进行优化进行优化微秒级的响应时间完整的事务处理和高可用InfiniBand第5页/共33页内存数据库创新内存数据库创新在在内存内存中中缓存缓存活动数据保存在内存中带宽/socket：30GB/s纵向扩展和横向扩展纵向扩展和横向扩展跨内核、cpu 和集群扩展压缩压缩更多数据装入内存更加高效的 内存带宽列存储列存储高效列式处理第6页/共33页生产环境下的内存功能生产环境下的内存功能在内存中缓存和处理数据运行 OLTP 数据库时，活动数据几乎都保持在内存中内存列存储用与数据仓库内存并行查询可以把数据分布到集群每个节点的内存中在在内存内存中中缓存缓存活动数据保持在内存中带宽/so

5、cket：30GB/s20092010用作数据仓库的内存用作数据仓库的内存列存储列存储(Oracle 11g 第第 2 版版)内存并行查询内存并行查询(Oracle 11g 第第 1 版版)2007OLTP 内存横向扩展：内存横向扩展：RAC，缓存融合，缓存融合2007客户端和服务器上的内存结客户端和服务器上的内存结果集缓存果集缓存 (Oracle 11g 第第 1 版版)2007 年前年前智能内存扫描智能内存扫描 （11g 第第 2 版）版）第7页/共33页Exadata 内存数据库云服务器内存数据库云服务器Oracle Exadata 优化 I 内存、闪存和磁盘磁盘的成本，磁盘的成本，DR

6、AM 的速度的速度 所有数据均存储在磁盘磁盘暖数据缓存在闪存闪存热数据缓存在 DRAM最佳最佳性价比性价比技术技术大小大小容量，容量，10 倍压缩倍压缩成本成本/TB速度速度磁盘磁盘504TB5 PB1 倍18 GB/s闪存闪存22 TB220 TB10 倍75 GB/sDRAM4 TB40 TB100 倍200 GB/s磁盘磁盘闪存闪存D-RAM第8页/共33页生产环境下的内存功能生产环境下的内存功能纵向扩展和横向扩展利用多核和多处理器并行性进行并行查询超过 20 年的数据库优化经验2011 年，利用并行内存关联将速度提高 2 倍利用 RAC 进行横向扩展超过 10 年的数据库优化经验200

7、7 年，内存并行查询提供跨集群内存并行处理2011超过超过 10 年的年的 RAC 纵向纵向扩展优化经验扩展优化经验内存并行查询内存并行查询 （11g 第第 1 版）版）纵向扩展和横向扩展纵向扩展和横向扩展多核并行跨集群的资源池超过超过 20 年的纵向扩展年的纵向扩展优化经验优化经验2007 年前年前20072009内存内存 PQ 增强增强 （11g 第第 2 版）版）缓存融合增强缓存融合增强并行内存关联并行内存关联 （11g 第第 2 版）版）第9页/共33页利用内存利用内存 PQ 进行高性能分析进行高性能分析Oracle Database 11g 第 1 版集群范围并行处理大大受益于内存处

8、理前，数据从磁盘读取到内存每个节点拥有一个已处理的数据子集集群范围内存可用于单个并行操作数据存入内存后无需输入/输出表缓存 2缓存 3缓存 1内存列式压缩内存列式压缩第10页/共33页内存中处理内存中处理Exadata 上的并行内存关联X2-8 并行查询的带宽更高粒度分配和分发并行执行消息缓冲分配 NUMA 感知自动 DOP 计算Exadata 上智能内存扫描若内存访问受 CPU 限制，将部分处理动态分流到 Exadata使用 HCC 压缩时，优化系统资源的利用通过使用 Exadata 筛选和预处理，大幅减少内存中的数据Oracle Database 11g 第 2 版第11页/共33页生产环

9、境下的内存功能生产环境下的内存功能内存中压缩数据1997 年开始使用索引压缩索引大小缩减 2 倍1999 年开始使用表压缩表大小缩减 2 倍2002 年至 2007 年使用基本压缩、OLTP 压缩更新后大小缩减 2-4 倍2009 年开始使用混合列式压缩数据仓库扩大 10 倍，归档量增加 15-50 倍19992002200720091997基本表压缩基本表压缩（Oracle 9i 第第 2 版）版）表表(IOT)压缩压缩(Oracle 8i)位图索引压缩位图索引压缩(Oracle 8)OLTP 表压缩表压缩（Oracle 11g 第第 1 版）版）非结构化数据压缩非结构化数据压缩 （Orac

10、le 11g 第第 1 版）版）混合列式压缩混合列式压缩 （Oracle 11g 第第 2 版）版）2010压缩压缩更多数据装入内存更加高效地使用 内存带宽前缀索引压缩前缀索引压缩(Oracle 8i)第12页/共33页生产环境下的内存功能生产环境下的内存功能用作数据仓库的内存列存储2009 年开始使用内存列存储用与数据仓库混合列压缩将内存占用空间减少 10 倍高度优化内存列式数据处理2009 年在闪存缓存和磁盘上实现了列式存储20102011用于数据仓库的磁盘列式存储用于数据仓库的磁盘列式存储用于归档的磁盘列式存储用于归档的磁盘列式存储（11g 第第 2 版）版）针对列式处理的内存优化针对列

11、式处理的内存优化（11g 第第 2 版）版）2009用作数据仓库的内存列存储用作数据仓库的内存列存储列式闪存缓存列式闪存缓存 （11g 第第 2 版）版）列存储列存储高效的列式处理第13页/共33页12c 内存数据库规划内存数据库规划缓存缓存Exadata 写回闪存缓存改进用于数据仓库内存缓存的替换算法内存全局临时表针对非结构化数据的内存缓存和处理压缩压缩压缩优化查询使用自动数据优化的自动压缩宽表压缩列存储列存储行集 内存优化的，set-at-a-time查询处理方式扩展到文本、空间、XML 和 12.1针对 OLTP 的列式存储自动列化EHCC 行级锁纵向扩展和横向扩展纵向扩展和横向扩展内存

12、 PQ 优化缓存融合协议增强Exadata Exafusion第14页/共33页12.1 内存全局临时表内存全局临时表全局临时表(GTT)频繁用于 OLTP 和 DW例如：暂存报表中的中间结果从 12.1 开始，GTT 完全在内存中运行它们不会因redo和undo数据产生 I/O允许在 Active Data Guard 上使用全局临时表GTT 用于 Oracle 应用程序和其他 OLTP 应用程序减小远程备用数据库的 WAN 带宽提高数据库恢复速度 减少要恢复和应用的日志数据用例用例在在 11g 中重做中重做在在 12c 中重做中重做GTT 上上 的的 OLTP 10,000 个事务447M

13、B零零通过消除 I/O 提升分析和报表应用程序的速度第15页/共33页 HCC 支持空间数据和文本数据Spatial的用户通常拥有大量数据HCC 为空间数据提供了高压缩比例如：Santos Oil&Gas，生产效率提高了 52 倍HCC 表支持 LOB 上的文本索引 Exadata 智能扫描支持的非结构化数据小 CLOB(4KB)上的筛选下推至 Exadata 存储单元处理Like 表达式，如 like(html,Exadata)模式匹配，如 regexp_like(html,.*Exadata V0-9*.*)12.1 针对非结构化数据处理的内存改进针对非结构化数据处理的内存改进非机构化数据

14、的列式和 Exadata 智能扫描第16页/共33页12.1 针对非结构化数据处理的内存改进针对非结构化数据处理的内存改进LOB 上的快速字符串操作 concat、substr 等，平均增速 2.6 倍更快的临时 LOB，追加等常规操作速度加快 10 倍以上无分区表 LOB 上的并行 DML 支持基于统计和成本的优化加快空间数据和图表查询的速度更快的 XML 操作，针对 XML 生成运算符的并行查询更快的队列，更快的 R 统计分析提升内存处理并行性第17页/共33页12.1 基于内存队列的快速审计基于内存队列的快速审计使用的内存队列避免审计带来的用户事务上的开销，使审计能适用于所有应用程序使用

15、 SecureFile 存储保存审计队列高效管理和清理审计跟踪文件对审计跟踪文件分区，加快清理速度用基于大小的分区存储审计跟踪数据对选择性审计提供条件审计支持统一审计跟踪和统一审计配置第18页/共33页可拔插数据库的内存优化可拔插数据库的内存优化资源节省 6 倍，扩展性增加 5 倍 OLTP 基准对比 50 个可拔插数据库仅占用 3GB 内存，而 50 个独立数据库需占用 20GB 内存 可拔插数据库可扩展到 100 多个，而独立数据库实例最多为 50 个数据库实例数 已占用内存第19页/共33页12.1 高级行压缩高级行压缩压缩数据查询内存扫描数据在内存中不解压缩在 12.1 中，对非重复值

16、数量较少的列进行复杂谓词内存扫描，速度最多提高 3 倍select from Customers where name like%C%Bank第20页/共33页12.1 自动数据优化自动数据优化随着数据逐渐变旧：活动降低数据量增加旧数据主要 用于编制报告本季度本季度本年度本年度前几年前几年OLTP编制报告编制报告合规性和合规性和编制报告编制报告行存储 以实现快速 OLTP压缩的 列存储以实现快速分析10 倍压缩倍压缩15 倍压缩倍压缩随着数据归于沉寂，高级数据优化会自动将数据联机 转换成压缩列归档采用压缩 列存储以实现最大压缩alter table 添加策略添加策略无修改长达无修改长达 3 个

17、月后，个月后，压缩以备查询压缩以备查询 1 年后，压缩以备归年后，压缩以备归档档第21页/共33页针对针对 OLTP 的列式存储的列式存储Exadata 12c，自动列化自动列化当分区变旧时，会自动转换成 HCC 压缩格式使 HCC 适用于 OLTP 数据ALTER TABLE sales ILM ADD CompressionPolicy 针对查询的列存储压缩针对查询的列存储压缩创建创建 120 天后天后；当数据变旧时当数据变旧时更新本季度本季度本年度本年度第22页/共33页针对针对 OLTP 的列式存储的列式存储行存储是 OLTP 的传统选择列存储提供更高的压缩比和更好的分析性能HCC 的

18、创新在于使用混合方法实现 行访问的单一 I/O操作HCC 行级锁的创新允许并发的单条记录的更新操作随用户数量的增加呈线性扩展行存储仍是 OLTP 数据的最佳存储方式Exadata 12c，针对列存储的行级锁第23页/共33页12.1 内存中并行执行内存中并行执行Database 12.1 版引入了对内存缓存数据的高性能并行查询处理从数据库缓冲区中的表运行查询利用整个数据库集群的内存容量进行查询关联性算法把内存中某个对象的各段（分区）存放在不同的 RAC 节点数据在内存中保持压缩状态内存是磁盘带宽的 100 倍 第24页/共33页针对针对 OLTP 的的 Exafusion InfiniBand

19、 协议协议 12c Exafusion 侧重延迟和 CPU 使用率提升 OLTP 上 RAC 横向扩展性能优化锁定和远程块 RAC 缓存融合请求用户模式 InfiniBand 和 直接访问 InfiniBand 硬件 的性能对比（英文原文可能有错 verbs应为verse）延迟缩短 2 倍Exadata 12c第25页/共33页Oracle 内存数据库内存数据库企业的最佳内存数据库12c 第第 1 版版大内存集群和大内存集群和 Exadata 上超过上超过 2 倍的索引压缩倍的索引压缩行集处理行集处理针对非结构化数据的内存列存针对非结构化数据的内存列存储储OLTP 宽表压缩宽表压缩HCC 行级

20、锁定行级锁定Oracle 在内存中运行在内存中运行任何任何 OLTP 应用程序，应用程序，不加改动不加改动组合使用组合使用 DRAM、闪存和磁盘、闪存和磁盘内存速度和磁盘成本内存速度和磁盘成本数据库大小不受限数据库大小不受限200720122007 年年前前20092008超过超过 20 年的纵向扩展优化经验年的纵向扩展优化经验超过超过 10 年的横向扩展优化经验年的横向扩展优化经验前缀索引压缩前缀索引压缩位图索引压缩位图索引压缩基本和基本和 IOT 表压缩表压缩等等等等内存并行查询内存并行查询OLTP 压缩压缩非结构化数据压缩非结构化数据压缩客户端客户端 SQL/PL/SQL 结果缓存结果缓

21、存服务器服务器 SQL/PL/SQL 结果缓存结果缓存用作数据仓库的内存列存储用作数据仓库的内存列存储列式压缩列式压缩列式压缩列式压缩缓存融合优化缓存融合优化内存并行查询优化内存并行查询优化Exadata 存储上的内存存储索存储上的内存存储索引引第26页/共33页针对针对 OLTP 的重要的重要 HA 特性特性远远超出企业数据库的内存需求快速启动恢复无需等待undo操作完成就可启动数据库并行和后台恢复所有数据可立即查询，无需等待加载完成数据保护零数据丢失快速故障切换到备用数据库压缩redo文件的传输自动检测和修复主数据库上损坏的数据块增量备份文件内并行备份和恢复块级介质恢复人为错误恢复细粒度的

22、行和表级闪回DB 级闪回从回收站恢复删除数据事务回滚联机表重新定义和重建无读取锁、无写入锁，甚至行级亦无可在表、索引或分区级完成联机安装补丁和联机升级 DB用版本控制进行联机应用程序升级分布式事务和分布式恢复无需在添加/删除节点时重新分配数据还可列出 100 多项企业 HA 特性第27页/共33页针对针对 OLTP 的其他主要功能领域特性的其他主要功能领域特性全面的 Oracle Database 功能性能可管理性安全性高级队列分布式事务复制优化程序SQL 特性SQL 预编译共享游标存储过程语言触发器限制 第28页/共33页Oracle 的内存愿景的内存愿景业界领先的 OLTP 和内存 DB分

23、布式和集群分布式和集群：分布式事务与分布式事务与 XA 合规性、分布式查询、分布式多版本读取一致性、集群范围并行事务与读取一致性（带全球时钟合规性、分布式查询、分布式多版本读取一致性、集群范围并行事务与读取一致性（带全球时钟)高可用高可用性：性：恢复时间与未恢复事务的大小无关恢复时间与未恢复事务的大小无关，联机，联机 DDL：添加列、分区移动、索引重建：添加列、分区移动、索引重建事务大小或回滚不受限事务大小或回滚不受限双向临时数据库、起源、双向临时数据库、起源、闪回事务查询闪回事务查询 以及企业应用程序所需的以及企业应用程序所需的 1000 多个其他特性多个其他特性Oracle Databas

24、e 的数千特性都能适用于的数千特性都能适用于 Oracle 内存内存 DB 运行所有运行所有 Oracle 及其他打包应用程序及其他打包应用程序第29页/共33页Oracle 内存数据库内存数据库业界In-Memory领域中最全面的创新组合缓存、扩展、压缩和列式In-Memory DB 是对 1000 多个 Oracle 企业特性的重要补充12c 是侧重In-Memory创新的重要版本融合 DRAM、闪存和磁盘的优点，实现最佳性价比Oracle 内存 DB 可以直接运行每个 Oracle的 或第三方地应用程序而不用改动 应用业界领先的内存数据库第30页/共33页第31页/共33页第32页/共33页