Hadoop - Hadoop编译 - 代码天地

真正生产上使用的hadoop以及组件都是源码编译得到的，这样做好处就是有一些功能可以定制化，有一些bug可以自己修复，方便兼容性问题的解决。

一、工具的依赖

hadoop编译依赖jdk、maven，findbugs，protobuf和其他组件。jdk安装到/usr/java中，mysql的博客中有讲解，下面讲解Maven的安装部署。

1.1 Maven 解压部署

Maven使用的是apache-maven-3.3.9-bin.zip

1、切换到目录 /opt/software/中
cd /opt/software/
2、解压
unzip apache-maven-3.3.9-bin.zip
3、配置环境变量 /etc/profile
export MVN_HOME=/opt/software/apache-maven-3.3.9
export PATH=$MVN_HOME/bin:$PATH
4、生效
source /etc/profile
5、检测
mvn --version

1.2 Maven 本地仓库配置

Maven通过网络下载到本地的仓库jar包来提供Maven项目的使用。默认的仓库为~/.m2中

1、公司有.m2的本地仓库包，就直接解压使用
tar -zxvf .m2.tar.gz
2、更改.m2中文件所属对象
chown -R root:root .m2

1.3 findbugs部署

findbugs是工具类，只要部署好，环境变量配置好就可以了。

1、解压到/opt/software/中
unzip findbugs-1.3.9.zip
2、配置环境变量 /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$PATH
3、生效
source /etc/profile
4、检测
findbugs -version

1.4 protobuf部署

protobuf需要编译，不想其他包一样。

1、解压 /opt/software/
tar -zxvf protobuf-2.5.0.tar.gz
2、更改文件所属
chown -R root:root protobuf-2.5.0
3、安装编译protobuf需要的组件
yum install -y gcc gcc-c++ make cmake
4、配置编译环境 安装到/usr/local/protobuf
./configure --prefix=/usr/local/protobuf
5、编译安装
make && make install
6、配置环境变量 /etc/profile
export PROTOC_HOME=/usr/local/protobuf
export  PATH=$PROTOC_HOME/bin:$PATH
7、生效
source /etc/profile
8、检测
protoc --version

1.5 其他组件

其他组件就统一使用yum源安装
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

二、编译Hadoop

2.1 解压hadoop Source文件

1、解压文件到/opt/software/
tar -zxvf hadoop-2.8.1-src.tar.gz
2、更改所属对象
chown -R root:root hadoop-2.8.1-src

2.2 编译hadoop源码

1、进入目录
cd hadoop-2.8.1-src
2、编译Maven项目
mvn clean package -Pdist,native -DskipTests -Dtar

2.3 编译结果

编译结果，gz包位置：
/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

Hadoop - Hadoop编译