+发表新主题
查看: 1033|回复: 3

Hadoop是什么,主要用来干什么?

[复制链接]

Hadoop是什么,主要用来干什么?

[复制链接]
木马童年 发表于 2018-1-2 06:20:15 浏览:  1033 回复:  3 [显示全部楼层] 回帖奖励 |倒序浏览 |阅读模式
timg (3).jpg

     Hadoop是什么,发展的历史起源是什么,有哪些优势,前景未来怎么样?


回复

使用道具 举报

265

主题

593

帖子

3033

积分

网站编辑

Rank: 8Rank: 8

积分
3033
木马童年
 楼主|
发表于 2018-1-2 06:21:25 显示全部楼层
    Hadoop是什么?​其实Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要解决,海量数据的存储和海量数据的分析问题。广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈。

回复

使用道具 举报

265

主题

593

帖子

3033

积分

网站编辑

Rank: 8Rank: 8

积分
3033
木马童年
 楼主|
发表于 2018-1-2 06:22:02 显示全部楼层
Hadoop发展历史,具体如下:
    ​    ​1)Lucene--Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎
    ​    ​2)2001年年底成为apache基金会的一个子项目
    ​    ​3)对于大数量的场景,Lucene面对与Google同样的困难
    ​    ​4)学习和模仿Google解决这些问题的办法 :微型版Nutch
    ​    ​5)2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,使Nutch性能飙升
    ​    ​6)2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份,Map-Reduce和Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中
    ​    ​7)名字来源于Doug Cutting儿子的玩具大象
    ​    ​8)Hadoop就此诞生并迅速发展,标志这云计算时代来临

回复

使用道具 举报

265

主题

593

帖子

3033

积分

网站编辑

Rank: 8Rank: 8

积分
3033
木马童年
 楼主|
发表于 2018-1-2 06:23:16 显示全部楼层
Hadoop的优势
    ​    ​1)高可靠性 ---因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理
    ​    ​2)高扩展性 --- 在集群间分配任务数据,可方便的扩展数以千计的节点
    ​    ​3)高效性 ---在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度
    ​    ​4)高容错性 --- 自动保存多份副本数据,并且能够自动将失败的任务重新分配
Hadoop的发展趋势及前景
    ​    ​由于Hadoop优势突出,基于Hadoop的应用已经遍地开花,尤其是在互联网领域。
    ​    ​(1)Yahoo:通过集群运行Hadoop,以支持广告系统和Web搜索
    ​    ​(2)FaceBook:(Hive贡献者)借助Hadoop来支持其数据分析和机器学习
    ​    ​(3)淘宝:国内使用Hadoop最深入的公司,整个淘宝和阿里都是数据驱动的
    ​    ​(4)华为:云计算平台
    ​    ​(5)优酷:日志分析、推荐等
    ​    ​(6)奇虎360:存储软件管家中的软件,日志分析和数据挖掘
    ​    ​(7)百度: 国内使用Hadoop最早的公司,存储、日志分析、推荐、机器学习等
    ​Hadoop目前已经取得了非常突出的成绩,随着互联网的发展和新业务模式的不断涌现,其应用已经从互联网走向了电子商务、旅游、房产、保险、金融、电信、银行等领域

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则