开源文件系统对比 .pdf

《开源文件系统对比 .pdf》由会员分享，可在线阅读，更多相关《开源文件系统对比 .pdf（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、开源分布式文件系统对比MogileFS. 2简介 . 2组成 . 2特性 . 3局限性 . 4开发语言 . 4主页及资源 . 4MooseFS . 4简介 . 4组成 . 5特性 . 5局限性 . 5开发语言 . 6主页及资源 . 6Hadoop . 6简介 . 6组成 . 6特性 . 6局限性 . 7开发语言 . 7主页及资源 . 7CloudStore . 7简介 . 7组成 . 7特性 . 7局限性 . 8开发语言 . 8主页及资源 . 8其他的开源文件系统：. 9Ceph . 9FastDFS . 9Hypertable . 9名师资料总结 - - -精品资料欢迎下载 - - - -

2、- - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 9 页 - - - - - - - - - MogileFS 简介MogileFS 是一种分布式文件存储系统。可支持文件自动备份的功能，提供高可用性和高可扩展性。组成1、数据库部分数据库保存了Mogilefs 的所有元数据，一般使用MySQL ，可以单独拿数据库服务器来做，也可以跟其他程序跑在一起。可以用mogdbsetup 程序来初始化数据库。数据库部分非常重要，因为一个MogileFS 系统的所有Tracker 都必须指向同一个数据库，因此如果数据库出现问题，那么整个Mogil

3、eFS系统将处于不可用状态，因此数据库最好采用HA结构，如MySQL 主从复制架构，这样可以降低数据库出现问题对MogileFS 系统的影响。2、跟踪器（ Tracker）mogilefsd 即 trackers 程序，类似mogilefs 的 wiki 上介绍， trackers 做了很多工作，主要有以下几个：* Replication ： 机器间复制文件* Deletion ：从命名空间删除是立即的，从文件系统删除是异步的* QueryWorker ： 响应客户端的请求* Reaper：在磁盘失败后将文件复制请求重新放到队列中* Monitor ：监测主机和设配的健康度和状态Tracker

4、 是访问 MogileFS 的入口，所有系统管理相关的操作都要通过其中的某个trackers 完成，应用系统的一些操作也要通过trackers，因此一个高业务量的MogileFS 系统最好同时运行多个 trackers 来做负载均衡。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 9 页 - - - - - - - - - 3、存储节点（Storage）mogstored 程序的启动将使本机成为一个存储节点。mogstored 启动后，便可以通过mogadm 增加这台机器

5、到系统中。一台机器可以只运行一个mogstored 作为存储节点即可，也可以同时运行其他程序。存储节点下面还需要定义设备（device） ，每个设备都有一个唯一的 ID 编号，设备也是用mogadm 添加到 MogileFS 系统中的。4、工具主要就是mogadm，mogtool 这两个工具了，用来在命令行下控制整个mogilefs 系统以及查看状态等等。5、客户端（ Client）客户端通过接口访问mogilefs 系统，对整个系统进行文件读写操作。特性* 应用层不需要特殊的核心组件* 无单点失败MogileFS 安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个机器上，因此

6、没有单点失败。（你也可以将跟踪器和存储节点运行在同一台机器上，这样你就没有必要用4 台机器）推荐至少两台机器。（没有单点失败本人持保留意见）* 自动的文件复制基于不同的文件“分类”，文件可以被自动的复制到多个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要求。比如你有一个图片网站，你可以设置原始的JPEG 图片需要复制至少三份，但实际只有1or2 份拷贝，如果丢失了数据，那么Mogile 可以重新建立遗失的拷贝数。用这种办法，MogileFS( 不做 RAID) 可以节约磁盘，否则你将存储同样的拷贝多份，完全没有必要。* “比 RAID 好多了”在一个非存储区域网络的RAID

7、（non-SAN RAID ）的建立中，磁盘是冗余的， 但主机不是， 如果你整个机器坏了，那么文件也将不能访问。MogileFS在不同的机器之间进行文件复制，因此文件始终是可用的。* 传输中立，无特殊协议MogileFS 客户端可以通过NFS 或 HTTP 来和 MogileFS的存储节点来通信，但首先需要告知跟踪器一下。* 简单的命名空间文件通过一个给定的key 来确定， 是一个全局的命名空间。你可以自己生成多个命名空间，只要你愿意， 不过这样可能在同一MogileFS 中会造成key 冲突。* 不用共享任何东西MogileFS 不需要依靠昂贵的SAN 来共享磁盘， 每个机器只用维护好自己的

8、磁盘。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 9 页 - - - - - - - - - * 不需要 RAID 在 MogileFS 中的磁盘可以是做了RAID 的也可以是没有，如果是为了安全性着想的话RAID 没有必要买了，因为MogileFS 已经提供了。* 不会碰到文件系统本身的不可知情况在MogileFS 中的存储节点的磁盘可以被格式化成多种格式（ext3,reiserFS 等等） 。 MogilesFS 会做自己内部目录的哈希，所以它不会碰到文件系统本身

9、的一些限制，比如一个目录中的最大文件数。你可以放心的使用。* mogileFS 适合于静态存储，就是那种一次保存，多次读取型的资源，比如以html 方式静态化处理的动态文件，图片文件，其他只提供下载的文件等。局限性Mogilefs 不支持对一个文件内部的随机或顺序读写，因此只适合做一部分应用，如图片服务，静态 HTML服务等，这些应用在文件写入后基本上不需要对文件进行修改，但是可以生成一个新的文件覆盖原有文件。开发语言Perl 主页及资源Mogilefs 的网站地址（http:/ php 扩展 的地址（ http:/ ）MooseFS 简介MooseFs 是一个具有容错功能的，高可用、可扩展的

10、海量级分布式文件系统。基于moosefs 的系统架构，开源界已经有了很多成熟的案例。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 9 页 - - - - - - - - - 组成*元数据服务器（Master）在整个体系中负责管理管理文件系统，目前MFS 只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS 能支持多个master 服务器，进一步提高系统的可靠性。* 元数据日志服务器。备份 master服务器的变化日志文件，

11、文件类型为changelog_ml.*.mfs 。当元数据服务器数据丢失或者损毁，可从日志服务器取得文件进行恢复。*数据存储服务器（chunkservers）真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver 之间复制（复制份数可以手工指定，建议设置副本数为3） 。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。*客户端（ clients）使用MFS 文件系统来存储和访问的主机称为MFS 的客户端，成功挂接MFS 文件系统以后，就可以像以前使用NFS 一样共享这个虚拟性的存储了。特性*高可靠性 ,数据能在不同计算机上

12、存储若干副本。*通过添加新的计算机或是磁盘来动态扩展空间。*能存储特定时间内删除的文件。*不停服务扩容。*恢复服务容易。*建立文件快照，和整个原文件保持一致的副本，原文件也可以正在被访问或写入局限性。master 本身的性能瓶颈。（不太恰当的比方：类似mysql 主从复制，从的可以扩展，主的不容易扩展）。体系架构存储文件总数的可遇见的上限。（mfs 把文件系统的结构缓存到master 的内存中， 个人认为文件越多，master 的内存消耗越大， 8g 对应 2500kw 的文件数， 2 亿文件就得64GB 内存） 。单点故障解决方案的健壮性。名师资料总结 - - -精品资料欢迎下载 - - -

13、 - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 9 页 - - - - - - - - - 对于 moosefs 不要奢求其读写速度有多快，更应该看中其设计原理带给我们安全上的便利开发语言/+ 主页及资源http:/www.moosefs.org/ Hadoop 简介Hadoop 是 Apache 开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook 和 Yahoo 等等。组成特性可扩展：不论是存储的可扩展还是计算的可扩展都是Hadoop 的设计根本。经济：框架可以运行在任何普通的

14、PC 上。可靠：分布式文件系统的备份恢复机制以及MapReduce 的任务监控保证了分布式处理的可靠性。高效：分布式文件系统的高效数据交互实现以及MapReduce 结合 Local Data 处理的模式，为高效处理海量的信息作了基础准备。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 9 页 - - - - - - - - - 局限性开发语言JAVA 主页及资源http:/hadoop.apache.org/ CloudStore 简介CloudStore(KFS ，K

15、osmos File System) 分布式文件系统有着高性能，可用性和可靠性等特点。它的目的是用来作为后端的存储基础设施，密集型数据应用，如搜索引擎， 数据挖掘， 网格计算等。组成特性增量的可扩展性：存储需求可对节点增加，系统会自动适应新的节点。可利用性：复制是用来提高可用性。通常情况下，文件复制有3 种方式。每个文件的复制程度：在一定程度的复制配置，最大限制为64。机架数据放置：数据在不同的块架上。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 9 页 - - - -

16、 - - - - - 重新平衡： 每隔一段时间， 中继服务器可以平衡块之间。这样做是为了帮助平衡的磁盘空间之间节点的利用率。数据完整性： 为了处理硬盘损坏的数据块，校验核查所做的每一个阅读，每当有一个校验和不匹配，再复制是用来恢复损坏的块。文件写入： 该系统遵循的标准模式。当应用程序创建一个文件，文件名变成部分文件的命名空间。缓存：客户端库使用缓存以提高性能。用于支持高速缓存的一致性。块的版本：版本是用来探测陈旧块。用户端故障转移：如果客户端库确定无法访问，客户端库将故障转移。语言支持：可用C+，Java和 Python 访问客户端库。工具： 包含了一系列新的工具。这可以让用户使用命令浏览文件

17、系统，如 cp, ls, mkdir, rmdir, rm, mv 。本地阅读优化：当应用程序运行在同一节点是包含一个优化的本地读取数据。局限性开发语言C/C+ 主页及资源http:/ 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 9 页 - - - - - - - - - 其他的开源文件系统：Ceph http:/ http:/ Hypertable http:/hypertable.org 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 9 页 - - - - - - - - -