CentOs64位编译安装hadoop-2.6.0
官方提供的hadoop-2.x版本貌似都是32位的，在64位机子下使用可能会报错，最好使用官方提供的源码进行本地编译，编译成适合本地硬件环境的64位软件包。
Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库
（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。
native位于hadoop-2.x.x/lib/native目录下，仅支持linux和unix操作系统。
hadoop中的zlib和gzip模块会加载本地库，如果加载失败，会提示：WARN util.NativeCodeLoader:
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
可以在core-site.xml中配置hadoop.native.lib值是否使用本地库，默认值为true。
官方提供的hadoop-2.x版本中，native文件都是32位编译的，在实际使用64位环境中，建议本地
编译后再使用。
参考：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html
编译步骤
本次编译环境：CentOS 6.5 + jdk7 + hadoop-2.6.0-src.tar.gz。为了加快编译过程，尽量将
CentOS的内存设置的大一些，还有，编译过程中CentOS必须保持连网状态。
1、安装JDK、maven、findbugs
实验版本：jdk-7u79-linux-x64.tar.gz、apache-maven-3.0.5-bin.tar.gz、findbugs-3.0.0.tar.gz，
分别解压到/usr/local目录下，然后配置环境变量：vi /etc/profile，配置内容如下：
export JAVA_HOME=/usr/local/jdk1.7.0_75
export MAVEN_HOME=/usr/local/apache-maven-3.0.5/
export FINDBUGS_HOME=/usr/local/findbugs-3.0.0/
export PATH=.:$MAVEN_HOME/bin:$JAVA_HOME/bin:$FINDBUGS_HOME/bin:$PATH 验证：① java -version；② mvn -version；③ findbugs -version。
2、安装protoc
protoc buffer是hadoop的通信工具，编译过程需要安装。实验版本：protobuf-2.5.0.tar.gz，
官网：https://code.google.com/p/protobuf/downloads/list。
安装编译工具：① yum install -y gcc；② yum intall -y gcc-c++；③ yum install -y make，
操作系统已安装的不必重复安装。
进入/usr/local，顺序执行命令：① tar -zxvf protobuf-2.5.0.tar.gz；② cd protobuf-2.5.0；
③ ./configure --prefix=/usr/local/protoc/；④ make && make install。
安装完成后，配置环境变量，增加：export PROTOC_HOME=/usr/local/protoc/，和export
PATH=..:$PROTOC_HOME/bin:..
验证：protoc --version
3、安装其他依赖
执行命令：① yum install -y cmake；② yum install -y openssl-devel；③ yum install -y
ncurses-devel。
4、开始编译工作
从官网下载需要编译的hadoop源码版本，本次实验：hadoop-2.6.0-src.tar.gz，官网下载：
http://archive.apache.org/dist/hadoop/core/stable/。
进入/usr/local，执行解压操作：tar -zxvf hadoop-2.6.0-src.tar.gz，然后修改一个hadoop-2.
x共有的bug（详见https://issues.apache.org/jira/browse/HADOOP-10110），编辑文件：usr/
local/hadoop-2.6.0-src/hadoop-common-project/hadoop-auth/pom.xml，第55行左右增加如
下内容：
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>这里注意下，如果内存不足2G要通过swap分区扩展到2G，并且编译的时候要科学上网
然后进入目录/usr/local/hadoop-2.6.0-src中，执行命令：mvn package -Pdist,native -DskipTests -
Dtar-e -X。
编译大概需要二三十分钟，看到一堆的SUCCESS，说明编译成功，编译后的项目在hadoop-2.
6.0-src/hadoop-dist/target/hadoop-2.6.0中。
只需要将编译后项目中的hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0文件夹拷贝到你
需要的位置即可，并在配置文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh末尾添加：export
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"。
在编译完成后，需要在$HADOOP_HOME/hadoop/etc/hadoop/hadoop-env.sh中，export JAVA
_HOME=${JAVA_HOME}之后添加$JAVA_HOME环境变量，不然hadoop启动时会报错招不到$
JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.7.0_79
谢谢分享~ :victory:
页:
[1]
