物理安全容灾数据.ppt

《物理安全容灾数据.ppt》由会员分享，可在线阅读，更多相关《物理安全容灾数据.ppt（53页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 Computer Network and Information Security网络与信息安全技术主讲人：张宏莉 余翔湛 Computer Network and Information Security课程内容1.信息安全概述2.网络安全面临的威胁3.信息安全体系结构4.物理安全5.运行安全6.数据安全7.信息内容安全8.信息安全标准、法律法规 Computer Network and Information Security物理安全 容灾容灾概述容灾标准相关关键技术数据容灾技术应用容灾技术 Computer Network and Information Security高频数据备份需

2、求对象需求：经常发生变化的数据数据恢复的需求：需要恢复到具体某个时间点的状态 Redo，Undo恢复可能引起数据丢失的原因逻辑错误(由误操作,软件更新等引起的数据污染)物理错误(由介质损毁引起的数据丢失,如雪灾、地震、恐怖袭击等引起的数据丢失)实际备份中的需求数据量太大，以至于无法在有限的时间段内完成备份备份失败。例如在备份时，有数据从一个未备份的目录移动到已经备份过的目录备份的数据不能使用。因为备份时该文件正在进行写操作热备份严重影响应用系统的性能数据的存储技术能否是与应用无关的 Computer Network and Information Security高频数据保护技术分类 Comp

3、uter Network and Information Security快照存储技术什么是快照？是特定数据集的一个完整可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。“快照”通常被定义为一组文件、目录或卷在某个特定时间点的副本。“快照”这个名字的含义与“照片”相似，它所捕获的是一组特定数据在某个时间点的映像。快照有三种基本形式：基于文件系统式的、基于卷管理器/虚拟化式的和基于系统式的。对应不同类型的实现主体主机文件系统(包括服务器、台式机、笔记本电脑)逻辑卷管理器(LVM)存储虚拟化装置主机虚拟化管理程序网络附加存储系统(NAS)磁盘阵列数据库 Comp

4、uter Network and Information Security快照的价值快速备份/恢复快照可以迅速建立，并可用作传统备份和归档的数据源，所以快照可以缩小或消除备份窗口；快照存储在磁盘上，可以快速直接存取，从快照恢复比从磁带恢复速度快得多。多个恢复点基于磁盘的快照使存储设备有灵活和频繁的恢复点（或称恢复点目标：RPO），可以快速通过不同时间点的快照尽快恢复数据。快照增多的代价是提高成本。Computer Network and Information Security快照工作原理分类快照全拷贝快照分离镜像（“Splitting”a mirror）差分快照写即拷贝（CoW:Copy O

5、n Write)写即重定向(RoW:Redirect On Write)Computer Network and Information Security快照复制技术分离镜像（“Splitting”a mirror），克隆快照所创建的是数据的完整副本差异复制保存的是数据变化的内容Copy-on-write(COW)写即拷贝,复制写快照COW跟踪数据卷的写操作和数据块变化。当某个数据块发生改变时，在将旧的数据覆盖之前，首先将该块的旧数据复制到预留的快照卷，然后再更新数据卷。Redirect On Write（RoW）写即重定向RoW跟踪数据卷的写操作和数据块变化。当某个数据块发生改变时，在数据卷

6、上的旧数据不覆盖，首先将该块的新数据复制到预留的快照卷，然后再将该新数据的索引重定向到数据卷。Computer Network and Information Security差分快照实现：CoWp p源源盘盘快照前写块1a ab bc cd de ef fg gh h0 01 12 23 34 45 56 67 7ii8 8访问阵列源卷1.写操作（p写入块1）p p Computer Network and Information Security差分快照实现：CoWp p源源盘盘快照快照快照前写块1z z快照后写块6a ap pc cd de ef fg gh h0 01 12 23 34

7、 45 56 67 7ii8 8访问阵列源卷快照索引和日志地址数据1.写操作（p写入块1）2.产生快照3.快照后写入z到块6：不一次性写入先将块6内容移入日志z写入源卷g g6 66 6g gz z Computer Network and Information SecurityCoW特点源盘保持最新状态两次写操作适合什么恢复？Computer Network and Information Security差分快照实现：RoWp p源源盘盘快照前写块1a ab bc cd de ef fg gh h0 01 12 23 34 45 56 67 7ii8 8访问阵列源卷1.写操作（p写入块1

8、）p p Computer Network and Information Security差分快照实现：RoWp p源源盘盘快照快照快照前写块1z z快照后写块6a ap pc cd de ef fg gh h0 01 12 23 34 45 56 67 7ii8 8访问阵列源卷快照索引和日志地址数据1.写操作（p写入块1）2.产生快照3.快照后写入z到块6：源卷块6内容不变z写入日志6 6z z Computer Network and Information SecurityRoW特点源盘保持初始状态一次写操作适合什么恢复？Computer Network and Information

9、 Security虚拟磁盘虚拟磁盘快照快照NeoNeoStorStor时间点映像时间点映像快照资源区域快照资源区域快照拷贝快照拷贝业务继续访问业务继续访问可以被分配给其可以被分配给其它应用使用它应用使用快照拷贝 Computer Network and Information Security1234567891011121234567891011122712第一次做快照时，快照资源区无数据.内存中仅维护源卷的一个地址映射.源卷源卷快照快照快照快照!源卷有新块写入时，旧块数据首先被写到快照资源区。新块写入新块写入旧块移走旧块移走快照拷贝实现 Copy-on-Write Computer Net

10、work and Information Security2712123456789101112123456789101112拷贝过程拷贝过程源虚拟盘源虚拟盘快照资源区快照资源区数据拷贝时，先检查快照资数据拷贝时，先检查快照资源区的块是否包含数据，如源区的块是否包含数据，如果有数据就直接复制到拷贝果有数据就直接复制到拷贝卷；如果没有数据，则直接卷；如果没有数据，则直接从源卷上复制未改变过的数从源卷上复制未改变过的数据；据；最终结果是产生一个源卷在最终结果是产生一个源卷在快照点的数据副本。快照点的数据副本。快照拷贝卷快照拷贝卷快照拷贝实现 Copy-on-Write Computer Netwo

11、rk and Information Security每小时一次的自动每小时一次的自动快照快照快照资源快照资源源资源源资源数据卷数据卷9am初始快照初始快照(无数据无数据)10am11am12pm147102581136912新数据块新数据块写入写入10:00-10:5914710258113691211:00-11:59新数据块新数据块写入写入147102581136912数据块数据块9:00-9:59147102581136912新数据块新数据块写入写入267910112267910112旧数据块保存在快照资源旧数据块保存在快照资源区区旧数据块保存在快照资源旧数据块保存在快照资源区区旧数据

12、块保存在快照资源旧数据块保存在快照资源区区267267910TimeMark Computer Network and Information Security每小时一次的自动每小时一次的自动快照快照快照资源快照资源源资源源资源数据卷数据卷9am初始快照初始快照(无数据无数据)10am11am12pm147102581136912新数据块新数据块写入写入10:00-10:5914710258113691211:00-11:59新数据块新数据块写入写入147102581136912数据块数据块9:00-9:59147102581136912新数据块新数据块写入写入2679101122679101

13、1212:17pm 应用报错应用报错需要恢复应用在需要恢复应用在 10am的状态的状态!267267910TimeMark Computer Network and Information Security10:00am!111234581269107新数据块新数据块写入写入10:00-10:5914710258113691211:00-11:59新数据块新数据块写入写入1471025811369121122679109am10am11am12pm147102581136912数据块数据块9:00-9:59新数据块新数据块写入写入14710258113691226791026791011226

14、7147102581136912126910127111234581269107112112910TimeMark每小时一次的自动每小时一次的自动快照快照快照资源快照资源源资源源资源数据卷数据卷初始快照初始快照(无数据无数据)Computer Network and Information Security什么是CDP？CDP:Continuous Data Protection CDP数据保护技术需要实时复制所有版本的更新数据，是数据保护技术的最高级别 Computer Network and Information SecurityCDP技术驱动器层次产生的CDP备份数据不会带来明显的写操

15、作延迟，适用于极高频背景下的数据复制 CDP备份系统常用的部署方式是为业务盘配置CDP数据盘。在driver层次为业务盘驱动器配置相匹配的CDP盘驱动器，当业务盘发生写操作（W）时，在driver层次复制写操作，并保存到CDP数据盘中。备份数据的写入操作与业务盘中的数据更新操作几乎是同步进行的CDP盘中的备份数据需要建立专用的数据组织结构，以加快数据的写入过程，并提供与之对应的数据检索方法。CDP盘中保存了所有版本的写操作数据，随着时间的延长，数据存储量会急剧的增长。Computer Network and Information Security Computer Network and I

16、nformation Security高频数据的检索与恢复在快照、CDP等高频备份数据管理中面临两个基本问题：数据检索效率问题数据一致性问题引入检查点技术在结合检查点的数据恢复过程中，通常采用前滚或后滚的检索方式，逐渐接近目标点，实现面向应用一致性的数据恢复。Computer Network and Information Security二维坐标表示高频数据的时空二维属性分布，纵坐标表示数据的空间分布特性，以Key为标示；横坐标表示时间属性，以Time为标示。基本的索引结构为：。其中key表示数据项与时间无关的检索标识符；数据的有效时间是starttime,endtime)的闭开区间内；in

17、fo表示索引项记录具体内容。key1在t1时刻开始，产生索引项为：。其中“*”表示数据的生命周期尚未结束。在t2时刻有Key=key2的索引项产生，表示为：。key1在t3时刻有新版本数据产生，旧版本的结束时间设为t3，索引项变为：，表示旧版本数据生命周期结束，新版本数据生命周期开始，新版本索引项为：。Computer Network and Information Security前向检索：从一个可恢复状态点开始依次根据数据的产生时间（starttime）进行检索。假设t1是前向检索的起点，则前向检索过程为：t1版本的l1，l2，l3；t2版本的l4；t3版本的l5以及t4版本的l6。后向检

18、索：从当前状态根据索引项的结束时间（endtime）依次检索的过程。假设从当前时刻t4开始执行状态回滚，检索顺序为：t4版本下的l3；t3版本下的l2，t2版本下的ld，以及t1版本下的la，lb，lc。Computer Network and Information Security问题：比如在CAW、CDP等数据复制技术中，通常根据数据的产生时间依次存储所有版本的备份数据，满足starttime有序。可以有效支持RF检索，但是索引项的endtime之间是乱序的，在执行RB检索时可能需要遍历所有版本的备份数据才能获得一份endtime有序的索引项排列。在COW等数据复制技术中，复制被修改前的

19、旧版本数据并按序保存。备份数据版本之间endtime有序，可以直接支持RB检索。但是索引项之间的starttime是乱序的。因此在高频备份数据管理中，目前的索引结构无法同时支持两种检索方式。Computer Network and Information Security双向检索索引结构设计双向检索索引结构设计引入双向索引（Indexing Log）和更新表（Updating Table）两种基本结构 Indexing Log索引项格式：key表示与时间独立的检索关键字 Time是新版本数据的开始时间，同时也是对应旧版本数据的结束时间 AddrOld：旧版本数据的存储位置指针AddrNew：新

20、版本数据的存储位置指针 更新表中：记录到当前为止所有更新数据最新版本的索引结构，基本索引项为。更新表主要作用是支持旧版本数据存储位置的快速查找 Computer Network and Information Security当有新数据写入时,根据key值首先在更新表中查找与key对应的旧版本数据的存储位置，设为AddrNew1。在Data Storage中为新数据分配存储空间，新开辟地址为AddrNew2。产生一条双向索引记录：其AddrOld值为AddrNew1；AddrNew值为AddrNew2。索引项以按序追加方式保存在Indexing Log中。最后把AddrNew2更新到更新表中对

21、应的记录。AddressKey.AddrNewkey1.Data storageOldDataNewData.IndexingLog更新表CDP Log备份数据123 Computer Network and Information SecurityIndexing Log中的前向(redo)和后向(undo)检索 Computer Network and Information Security索引融合技术需求Log项太多恢复时的操作太多，效率低能否去除冗余项？索引融合技术 Computer Network and Information SecurityLog Chain无环、无分支有向图

22、描述不同备份点索引之间的依赖关系。每次差量备份，差量备份产生的Log索引项作为图中的节点节点，索引之间的依赖关系构成图的边边，能够反映备份数据完整镜像的索引文件称为图的源源，把这种由索引之间依赖关系构成的图称为Log Chain间接依赖关系管理 I1I2I3InA0 Computer Network and Information Security直接依赖关系管理 Computer Network and Information Security分段依赖关系管理 ImI1A0Am+1I2m+1Im+2长度为m的分段1长度为m的分段2 Computer Network and Informati

23、on Security分段、分层叠加索引结构：关键是叠加算法索引融合：累积相关索引数据的变化过程 A0 Computer Network and Information Security Computer Network and Information Security最后一个分段融合操作每当有新版本到达时直接向上层进行索引融合，一直到达根节点为止 只有当融合窗口达到预定的窗口值时，才向上层融合索引 Computer Network and Information Security叠加索引检索分段、分层叠加索引上层索引结构反映了下层的索引的数据累计变化，在计算某个时间点的叠加索引时，首先从上层

24、开始，逐层向下，最后检索一个分段内部的Log Chain Computer Network and Information Security Computer Network and Information Security Computer Network and Information Security分层、分段依赖关系管理算法的特点收敛的在m值不断增大时，算法收敛于间接依赖关系管理模式；算法收敛于直接依赖关系管理模式；此外，在分段、分层叠加索引结构，还可以进一步引入启发式的索引保存策略，如只对当前的一个分段内部保存底层的Mapping Log，支持Undo操作，而对于早期的备份数据，有选

25、择的保存上层叠加索引，支持Redo操作，这样不仅符合备份数据的恢复特征，同时可以进一步提高元数据的存储效率。Computer Network and Information Security变长数据管理技术block-level快照备份基于Block的增量快照，其数据可能是不规则长度的数据块增量备份的数据块之间存在着更复杂的关系需要新的索引和融合方法 Computer Network and Information Security Computer Network and Information Security数据块之间的关系 其中R为旧的数据、r为新的数据 Computer Networ

26、k and Information Security变长数据块索引基本索引结构为：Log Chain其中Interval为一个连续的数据块区间，如区间为 a,b，表示区间范围为地址a b两个区间的相对关系需要在一维空间上进行比较，设源区间为r=a,b,ab；目标区间R=A,B，AB；源区间r相对于目标区间R的相对关系可以描述。Computer Network and Information Security设源区间为r=a,b,ab；目标区间R=A,B，AB；r与R的关系可概括为6种关系，两种运算左独立,左重叠，包含，右重叠，右独立，覆盖；区间关系描述 Computer Network and

27、 Information Security区间索引关系运算逻辑（索引融合）1、在满足Overlapping关系条件下,即r覆盖R时,R中的点在r中都有与之对应的部分,使用r替代R的过程称为区间叠加,记为:r+R;2、在区间关系LeftOverlapping,Included,RightOverlapping条件下,把R进行分割,产生的区间子项Ra,Rb,Rc其中Ra特指r与Ra具有RightIndependent的区间关系;r与Rb具有Overlapping关系,r与Rc具有LeftIndependent的区间关系,把这一过程称为区间分割,记为:R/r;3、在区间分割运算中,如果分割R产生的子

28、区间Rb不为空,即在R中获得与r相匹配的子区间的过程称为区间相减,记为:R-r.Computer Network and Information Security区间运算的物理意义：在r与R具有区间关系左独立和右独立的情况下,直接写入新版本数据块索引;在具有覆盖关系情况下,使用新版本数据索引完全覆盖掉旧版本数据索引;而重叠或包含关系时有部分旧版本的数据索引被覆盖掉.Computer Network and Information Security多版本数据备份管理技术背景多版本技术决定着数据的存储和恢复效率备份数据长期存储过程中需要结合备份数据的多版本管理技术检索数据决定备份数据检索效率的因素

29、包括版本内索引数据和遍历版本数目，如何减少遍历过程中的索引数据量是提高多版本管理效率的主要途径问题描述传输效率效率版本管理效率版本的删除 Computer Network and Information Security多版本管理方法多版本管理方法设多次备份后产生的版本序列记为：S=F1，F2，,Fn 版本融合算法根据索引融合或区间索引运算逻辑.把版本融合过程使用算符“”表示,版本融合过程可以表示为:Ft=FrFR.也把版本融合称作版本叠FFullSnapshot=FiFi-1F2F1版本融合是版本删除的基础运算版本删除基本思想是把待删除版本与下一版本融合，融合结果保留了可能被将来版本共享的数

30、据 Computer Network and Information Security多版本差异恢复方法：diffdoStep1.FFullSnapshot(T)=FTFT-1F1;计算版本计算版本T的快照索引的快照索引:FFullSnapshot(T);Step2.Check(FFullSnapshot(T)CheckFile(T);从端根据从端根据 FFullSnapshot(T)计算快照数据的校验文件计算快照数据的校验文件:CheckFile(T)，并发送到主端，并发送到主端;Step3.CheckFile(T)CheckErrorFile(T);主端根据主端根据CheckFile(T)

31、,记录校验不一致的数据块对应的逻辑地址记录校验不一致的数据块对应的逻辑地址,生成生成CheckErrorFile(T),并发送到从端并发送到从端;Step4.CheckErrorFile(T)+FFullSnapshot(T)DiffdoLog(T);存储端根据存储端根据CheckErrorFile(T)和和FFullSnapshot(T)检索备份数据检索备份数据,计计算差异恢复索引文件算差异恢复索引文件DiffdoLog(T),并根据并根据DiffdoLog(T)进行差异进行差异数据恢复。数据恢复。Computer Network and Information Security小结多版本数据保护技术可以解决两类错误：逻辑错误、物理错误是密集的写应用环境，对索引结构的更新效率、存储效率、检索效率都有很高要求随着数据复制频率提高，产生数据量急剧增长，版本之间依赖关系复杂，影响数据可恢复性和恢复效率