51Testing软件测试论坛

标题: Hadoop简介 [打印本页]

作者: 测试积点老人 时间: 2019-1-10 14:29
标题: Hadoop简介
本帖最后由测试积点老人于 2019-1-10 15:03 编辑

说明

经过几年的工作，最近有时间，将自己的知识体系整合一下，发到博客中，共大家学习交流参考，如有错误请及时批评斧正，万分感谢。

首先我会介绍Hadoop生态圈的相关技术，后期放上来的文章我都会在这里做个链接，共大家方便查看。

概述

Hadoop是Apache提供的开源的海量数据离线处理框架，是最知名的大数据框架之一。

最初来源于Google的三篇论文，由Apache基于论文中的原理进行了开源的实现.

1、组件

其中HDFS和MapReduce组成了Hadoop，并后续在Hadoop2.0中引入了Yarn。所以目前的Hadoop由如下三个组件组成：

[attach]120855[/attach]

2、最初设计的目的

Hadoop设计的初衷是为了解决Nutch的海量数据存储和处理的需求，可以解决大数据场景下的数据存储和处理的问题。

3、名字的起源

Doug Cutting如此解释Hadoop的得名：“这个名字是我孩子给一头吃饱了的棕黄色大象命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子是这方面的高手。Google就是由小孩命名的。”

二、Hadoop安装配置1、下载

Hadoop工作需要JDK的支持，请注意下载时对JDK的版本要求。

2、版本信息

Apache Hadoop版本分为三代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0，并且两个版本互不兼容。第三代Hadoop称为Hadoop3.0。

第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版。而0.21.x和0.22.x则有NameNode HA等新的重大特性。

第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x、2.x增加了NameNode HA和Wire-compatibility两个重大特性。

[attach]120856[/attach]

第三代Hadoop称为Hadoop3.0，在2017年9月份释出的。

3、集群模式

Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。

1）单机模式

单机模式是Hadoop的默认模式。解压即可使用单机模式。

单机模式不启动任何守护进程、无法使用hdfs和yarn，只能用来进行MapReduce的本地测试、不能用作生产环境。

2）伪分布模式

单机环境下启动所有的守护进程，具有hadoop的完整功能，可以使用hdfs，mapreudce和yarn，但是这些守护进程都运行在同一台机器上，并不能真正的提供性能上的提升，只能用来开发测试，不可以用在生产环境下。

以上是官方的说法，这里需要说一下，伪分布式也是可以用到生产环境的，在数据量不是很大，数据可靠性要求不是很强的时候，可以使用伪分布式，要不完全分布式的计算速度要快！

3）完全分布模式

启动所有的守护进程，具有hadoop完整的功能，可以使用hdfs、mapreduce和yarn，并且这些守护进程运行在集群中，可以真正的利用集群提供高性能，在生产环境下使用。

4）、安装1．单机安装

解压直接运行，就是单机模式。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)