51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1883|回复: 0
打印 上一主题 下一主题

[新知识] 《Hadoop大数据开发技术入门》

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2018-7-17 14:42:56 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

课程链接:http://www.atstudy.com/course/664


课程目的:
本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。站在想入门Hadoop开发的初学者立场和视角,从零开始学习Hadoop生态圈知识,详细介绍各个不同组件的安装、使用等情况,从最基本的环境搭建开始,讲解Hadoop生态圈知识。学习完本课程后,学员对Hadoop生态圈有一定的了解,并且对Hadoop的基本开发有一个了解。


课程优势:
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和(Google MapReduce的开源实现)为核心的;
Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉(low-cost)的硬件上,形成分布式系统;
MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下并发并行应用程序。所以用户可以利用集群的Hadoop轻松地组织计算机资源,从而搭建自己的分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据的处理。
Hadoop是一个开源框架,可编写和运行分布式应用处理大规模数据。
分布式计算是一个宽泛并且不断变化的领域。
1) 方便:Hadoop运行在由一般商用机器构成的大型集群上,或者云计算服务上,比如EC2。
2) 健壮Hadoop致力于在一般商用硬件上运行,其架构假设硬件会频繁失效,Hadoop可以从容地处理大多数此类故障。
3) 可扩展Hadoop通过增加集群节点,可以线性地扩展以处理更大的数据集。
4) 简单Hadoop允许用户快速编写高效的并行代码。
Hadoop框架的核心是HDFS和MapReduce。其中HDFS是分布式文件系统,MapReduce是分布式数据处理模型和执行环境。掌握了这两部分,也就掌握了Hadoop最核心的东西。





分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-28 07:33 , Processed in 0.062673 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表