+发表新主题
查看: 454|回复: 2

Hadopp分布式文件系统是什么,基本概念是什么?

[复制链接]

Hadopp分布式文件系统是什么,基本概念是什么?

[复制链接]
木马童年 发表于 2017-12-18 09:45:52 浏览:  454 回复:  2 [显示全部楼层] 回帖奖励 |倒序浏览 |阅读模式
u=1630750660,1688491819&fm=27&gp=0.jpg

     Hadoop分布式文件系统是什么,基本概念又是什么?
回复

使用道具 举报

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887
木马童年
 楼主|
发表于 2017-12-18 09:49:19 显示全部楼层
本帖最后由 木马童年 于 2017-12-18 09:51 编辑

    HDFS是一个为普通硬件设计的分布式文件系统,是Hadoop分布式软件架构的基础部件。
    HDFS在设计之初就做了以下假设:
            1.硬件错误是常态;
            2.流式数据访问为主,要求具备高吞吐量;
            3.存储的文件以大数据集为主;
            4.文件修改以尾部追加为主,一次写入多次读取;
      基于以上几点,HDFS被设计为部署在大量廉价硬件上的,适用于大数据集应用程序的分布式文件系统,具有高容错、高吞吐等优点,HDFS使用文件和目录的形式组织用户数据,支持文件系统的大多数操作,包括创建、删除、修改、复制目录和文件等。
       用户可通过命令接口DF-SShell与数据进行交互,以容许流式访问文件系统的数据。HDFS还提供了一组管理命令,用于对HDFS集群进行管理,这些命令包括设置NameNode,添加、删除DataNode,监控文件系统使用情况等。

回复

使用道具 举报

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887
木马童年
 楼主|
发表于 2017-12-18 09:59:44 显示全部楼层
        HDFS的基本概念:
             数据块
                    1.HDFS默认的最基本的存储单位是64MB的数据块。
                    2.和普通文件系统相同的是,HDFS中的文件是被分成64MB一块的数据块存储的。
                    3.不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
             元数据节点和数据节点
                    1.元数据节点用来管理文件系统的命名空间,其将所有的文件和文件夹的元数据保存在一个文件系统树中。这些信息也会在硬盘上保存成以下文件:命名空间镜像及修改日志,其还保存了一个文件包括哪些数据块、分布在哪些数据节点上。然而这些信息并不存储在硬盘上,而是在系统启动的时候从数据节点收集而成的。
                     2.数据节点是文件系统中真正存储数据的地方。客户端或者元数据信息可以向数据节点请求写入或者读出数据块。其周期性地向元数据节点回报其存储的数据块信息。
                     3.从元数据节点,从元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。其主要功能就是周期性地将元数据节点的命名空间镜像文件和修改日志命并,以防日志文件过大。这点在下面会详细叙述。合并过后的命名空间镜像文件也在从元数据节点保存了一份,以防元数据节点失败的时候,可以恢复。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站编辑

265

主题

593

帖子

2887

积分

网站编辑

Rank: 8Rank: 8

积分
2887