51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 2532|回复: 0

Hadoop 0.23编译

[复制链接]
  • TA的每日心情
    奋斗
    2022-5-8 19:23
  • 签到天数: 137 天

    连续签到: 1 天

    [LV.7]测试师长

    发表于 2011-11-27 16:29:42 | 显示全部楼层 |阅读模式

    编译(环境linux,
    需要联网)

    1.
    首先下载hadoop 0.23版本

    svn checkout
    http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.23.0-rc0/

    2.
    进入release-0.23.0-rc0目录下能看到INSTALL.TXT文件,
    这里有编译hadoop 0.23的教程.

    编译前的准备:.

    a)
    * Unix System

    b)
    * JDK 1.6

    c)
    * Maven 3.0

    d)
    * Forrest 0.8 (if generating docs)

    e)
    * Findbugs 1.3.9 (if running findbugs)

    f)
    * ProtocolBuffer 2.4.1+ (for MapReduce)

    g)
    * Autotools (if compiling native code)

    h)
    * Internet connection for first build (to fetch all Maven and Hadoop dependencies)

    可以根据需要安装全部或部分的工具,然后把它们加入到$PATH.
    这里介绍一下ProtocolBuffer的安装方法:下载2.4.1版本后解压,进入目录,运行如下命令即可.

    $ ./configure --prefile=/usr/local

    $ make

    $ sudo make install

    3.
    经过第二步准备之后,由于从hadoop0.23开始使用Maven编译,因此必需联网,命令如下:

    mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar]

    建议先运行命令: mvn package -Pdist -DskipTests –Dtar (前提Maven 3.0ProtocolBuffer2.4.1以上),
    此命令成功之后会在release-0.23.0-rc0/下生成
    hadoop-dist/target/hadoop-0.23.0-SNAPSHOT.tar.gz.
    可以使用这个包搭建集群.

    使用-Pdocs选项可以生成文档,当然前提是安装了Forrest 0.8Findbugs 1.3.9.
    可以参考如下命令手动指定:FORREST_HOMEFINDBUGS_HOME.

    mvn package -Pdocs -DskipTests -Dtar -Dmaven.test.skip -Denv.FORREST_HOME=/usr/local/apache-forrest-0.9 -Denv.FINDBUGS_HOME=/usr/local/findbugs-1.3.9

    生成的文档在各自的target/site目录下.


    经过以上步骤,我们已经编译好了hadoop-0.23,现在可以使用hadoop-0.23.0-SNAPSHOT.tar.gz来搭建集群了.

    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-3-29 21:06 , Processed in 0.063347 second(s), 27 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表