Hadoop 0.23编译

msnshow

编译(环境linux,
需要联网)

1.
首先下载hadoop 0.23版本

svn checkout
http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.23.0-rc0/

2.
进入release-0.23.0-rc0目录下能看到INSTALL.TXT文件,
这里有编译hadoop 0.23的教程.

编译前的准备:.

a)
* Unix System

b)
* JDK 1.6

c)
* Maven 3.0

d)
* Forrest 0.8 (if generating docs)

e)
* Findbugs 1.3.9 (if running findbugs)

f)
* ProtocolBuffer 2.4.1+ (for MapReduce)

g)
* Autotools (if compiling native code)

h)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

可以根据需要安装全部或部分的工具,然后把它们加入到$PATH中.
这里介绍一下ProtocolBuffer的安装方法:下载2.4.1版本后解压,进入目录,运行如下命令即可.

$ ./configure --prefile=/usr/local

$ make

$ sudo make install

3.
经过第二步准备之后,由于从hadoop0.23开始使用Maven编译,因此必需联网,命令如下:

mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar]

建议先运行命令: mvn package -Pdist -DskipTests –Dtar (前提Maven 3.0和ProtocolBuffer2.4.1以上),
此命令成功之后会在release-0.23.0-rc0/下生成
hadoop-dist/target/hadoop-0.23.0-SNAPSHOT.tar.gz.
可以使用这个包搭建集群.

使用-Pdocs选项可以生成文档,当然前提是安装了Forrest 0.8和Findbugs 1.3.9.
可以参考如下命令手动指定:FORREST_HOME和FINDBUGS_HOME.

mvn package -Pdocs -DskipTests -Dtar -Dmaven.test.skip -Denv.FORREST_HOME=/usr/local/apache-forrest-0.9 -Denv.FINDBUGS_HOME=/usr/local/findbugs-1.3.9

生成的文档在各自的target/site目录下.

经过以上步骤,我们已经编译好了hadoop-0.23,现在可以使用hadoop-0.23.0-SNAPSHOT.tar.gz来搭建集群了.