记录下Hadoop的安装
JDK安装
- 解压缩jdk，并放到/usr/lib/jvm目录下
<code>
tar xvz -f jdk-8u171-linux-x64.tar.gz
sudo cp -r ~/Downloads/jdk1.8.0_171 /usr/lib/jvm
</code>
- 配置环境变量
<code>
vim /etc/profile
// 添加一下内容
export JAVA_HOME=/usr/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
</code>
Hadoop安装
-
将Hadoop解压缩到/usr/local下
tar xvz -f hadoop-2.8.3.tar.gz sudo cp -r hadoop-2.8.3 /usr/local/ sudo ln -s /usr/local/hadoop-2.8.3 hadoop
-
配置环境变量
<code> vim ~/.zshrc // 添加以下内容 # Java Variable Start export JAVA_HOME=/usr/lib/jvm export PATH=${JAVA_HOME}/bin:$PATH # Java Variable End
# Hadoop Variable Start
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=${HADOOP_INSTALL}/bin:$PATH
export PATH=${HADOOP_INSTALL}/sbin:$PATH
export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}
export HADOOP_COMMON_HOME=${HADOOP_INSTALL}
export HADOOP_HDFS_HOME=${HADOOP_INSTALL}
export YARN_HOME=${HADOOP_INSTALL}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib"
source ~/.zshrc
</code>
- 检查配置是否成功
<code> hadoop version // 得到以下输出 Hadoop 2.8.3 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b3fe56402d908019d99af1f1f4fc65cb1d1436a2 Compiled by jdu on 2017-12-05T03:43Z Compiled with protoc 2.5.0 From source with checksum 9ff4856d824e983fa510d3f843e3f19d This command was run using /usr/local/hadoop-2.8.3/share/hadoop/common/hadoop-common-2.8.3.jar </code>
另外，下载Hadoop3.0.*发现，提供了一个最新的安装方法是使用docker安装。安装好docker后，执行start-build-env.sh脚本，会自动安装所有用到的工具，准备好用于Hadoop源码编译的环境。然后用marven管理整个Hadoop项目。尝试了一下，可以使用，但是不会用docker，后面再看吧。另外安装过程中注意要么更换镜像源，要么设置系统全局代理（命令行），不然不仅速度感人，而且很可能会失败