CentOS 6.8下安装Hadoop3.1.1伪分布式集群安装
描述：
在一台虚拟机中的Linux机器安装hadoop3.1伪分布式集群
环境和软件相关：
系统: CentOS 6.8
IP：192.168.1.31
JDK版本：JDK1.8
JDK安装包全名：jdk-8u201-linux-x64.tar.gz
Hadoop安装包全名：hadoop-3.1.1.tar.gz
一、环境配置
1、ssh免秘钥登录
因为只有一台Linux做伪分布式，故只需要对得本机做免秘钥操作即可。
cd ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
cat *.pub >> authorized_keys
chmod 600 authorized_keys
2、修改系统参数
vi /etc/selinux/config
将SELINUX修改为下面的值
SELINUX=disabled
3、关闭防火墙
service iptables stop
chkconfig iptables off
4、修改hosts文件
vi /etc/hosts
192.168.1.31 note01
二、安装Java1.8
1、检查是否安装有java
rpm -qa|grep java
2、卸载JAVA
如上面1未发现安装有java，可忽略此步；
使用命令：
rpm -e java包名
卸载java，与java有关的全部软件都需要卸载，如遇到卸载不了的，需要强制执行卸载
rpm -e java包名 --nodeps
3、下载jdk软件包(这里下载1.8 Linux 64位的版本)
去官网下载软件包
https://www.oracle.com/technetwork/java/javase/downloads/index.html
4、上传jdk到服务器
这里上传到/tmp目录
5、解压安装包
tar -zxvf /tmp/jdk-8u201-linux-x64.tar.gz
6、移动和配置
将刚解压出来的jdk移动并命名到/usr/share/jdk1.8
mv /tmp/jdk1.8.0_201 /usr/share/jdk1.8
配置:在/etc/profile文件添加以下内容
export JAVA_HOME=/usr/share/jdk1.8
export JRE_HOME=/usr/share/jdk1.8/jre
export CLASSPAT=$JAVA_HOME/lib/
export HADOOP_HOME=/opt/hadoop311/
export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/
使其配置生效
source /etc/profile
7、验证JAVA是否安装
java -version
三、hadoop安装
上传安装包到/tmp路径
解压并移动
tar -zxvf /tmp/hadoop-3.1.1.tar.gz
mv /tmp/hadoop-3.1.1 /opt/hadoop311
配置
修改hadoop-env.sh文件，在文件最后添加内容
cd /opt/hadoop311/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/usr/share/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
配置core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://note01:9820</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/peseudo</value>
</property>
</configuration>
注：note01为主机名；使用3版本默认的9820端口
配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>note01:9868</value>
</property>
</configuration>
配置文件workers
vi workers
note01
格式化文件系统
cd /opt/hadoop311
./bin/hdfs namenode -format
当看到有
INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted.
表示格式化成功！
启动集群
./sbin/start-dfs.sh
启动后查看进程是否启动
jps
查看端口
ss -nal
在火狐或谷歌浏览器输入地址：192.168.1.31:9870查看hadoop状态
四、测试hadoop
查看内容
hdfs dfs -ls /
创建目录
hdfs dfs -mkdir /temp
上传文件
hdfs dfs -put /tmp/hadoop-3.1.1.tar.gz /temp
查看内容
hdfs dfs -ls /