安装环境
ubuntu 16.04
所需软件
java sdk
Hadoop
ssh
rsync
1. 安装java
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
把下载的sdk文件移到新建的
/usr/lib/java
路径下,并解压mkdir /usr/lib/java mv /root/Downloads/jdk-file-name /usr/lib/java Tar -xvf jdk-file-name.tar.gz
修改环境变量:
vim ~/.bashrc
export JAVA_HOME=/usr/lib/java/jdk1.8.0_161 export JRE_HOME=$JAVA_HOME/jre export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASS_PATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
Source ~/.bashrc
2. 安装ssh
apt-get install ssh
启动服务
/etc/init.d/ssh start
设置免密码登录,生成私钥与公钥,将公钥追加到authorized_keys
ssh-keygen -t rsa -P "" cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
检查是否能无密码登录ssh
ssh localhost
3. 安装rsync
apt-get install rsync
4. 安装Hadoop
https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
将下载下来的hadoop解压到/usr/local/hadoop中, 进入/usr/local/Hadoop/Hadoop-1.2.1/conf, 在hadoop-env.sh中配置java安装信息
export JAVA_HOME=/usr/lib/java/jdk1.8.0_161
使hadoop-env.sh配置信息生效
source hadoop-env.sh
到此hadoop单机模式配置成功
为方便开机后可以立即使用hadoop的bin
下命令,可将bin
目录配置到~/.bashrc
中
vim ~/.bashrc
export PATH=$JAVA_HOME/bin:/usr/local/hadoop/hadoop-1.2.1/bin:$PATH
使配置生效
source ~/.bashrc
5. 验证hadoop版本信息
hadoop version
6. 运行hadoop自带的wordcount例子
先在hadoop目录下创建input目录,并将conf下所有文件复制到input目录下
使用hadoop命令运行自带的wordcount程序,结果输出到output中
hadoop jar hadoop-examples-1.2.1.jar wordcount input output
- 最后可在output中看到input中文件单词的统计结果