+发表新主题
查看: 524|回复: 2

GFS有哪几部分构成,在设计上,有哪几大特点?

[复制链接]

GFS有哪几部分构成,在设计上,有哪几大特点?

[复制链接]
木马童年 发表于 2017-12-18 10:02:06 浏览:  524 回复:  2 [显示全部楼层] 回帖奖励 |倒序浏览 |阅读模式
u=407298876,588852852&fm=27&gp=0.jpg

      GFS是什么,有哪几大部分构成,有哪些主要特点?


回复

使用道具 举报

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887
木马童年
 楼主|
发表于 2017-12-18 10:55:33 显示全部楼层
       GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统,它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。云计算的存储数据技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保。
       GFS的构成:
             GFS系统由一个Master和大量块服务器构成,Master存放文件系统的所有元数据,包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFS中的文件切分为64MB的块进行存储。
              在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行,并用版本号的方式来确保所有备份处于一致的状态。
         GFS主要分为两类节点:
                1.Master节点,主要存储与数据文件相关的元数据,而不是Chunk(数据块)。元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格。数据块副本位置和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新,以让元数据保持最新状态。
                2.Chunk节点,顾名思义,肯定用来存储Chunk,数据文件通过被分割为每个默认大小为64MB的Chunk的方式存储,而且每个Chunk有唯一一个64位标签,并且每个Chunk都会在整个分布式系统被复制多次,默认为3次。

回复

使用道具 举报

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887
木马童年
 楼主|
发表于 2017-12-18 11:10:39 显示全部楼层
      GFS的特点,在设计上,GFS主要有8个特点:
              1.大文件和大数据块,数据文件的大小普遍在GB级别,而且其每个数据块默认大小为64MB,这样做的好处是减少了元数据的大小,能使Master节点非常方便地将元数据放置在内存中以提升访问效率。
              2.操作以添加为主,因为文件很少被删减或者覆盖,通常只是进行添加或者读取操作,这样能充分考虑到硬盘现行吞吐量大和随机读写慢的特点。
              3.支持容错,首先,虽然当时为了设计方便,采用了单Master的方案,但是整 个系统会保证每个Master都有其相对应的复制品,以便于在Master节点出现问题时进行切换,其次,在Chunk层,GFS已经在设计上将节点失败视为常态,所以能非常好地处理Chunk节点失效的问题。
              4.高吞吐量,虽然其单个节点的性能无论是从吞吐量还是延迟都很普通,但因为其支持上千个节点,所以总的数据吞吐量是非常惊人的。
              5.保护数据,文件被分割成固定尺寸的数据块以便于保存,而且每个数据块都会被系统复制3份。
              6.扩展能力强,因为元数据偏小,使得一个Master节点能控制上千个存储数据的Chunk节点。
              7.支持压缩,对于那些稍旧的文件,可以通过对它进行压缩,来节省硬盘空间,并且压缩率非常惊人,有时甚至接近90%。
              8.用户空间,虽然在用户空间运行在运行效率方面稍差,但是更便于开发和测式,还能更好地利用Linux自带的一些POSIC API。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站编辑

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887