1、基础集群环境搭建
1.1、安装JDK
1、上传jdk-8u151-linux-x64.tar.gz
2、解压到usr目录下
tar -zxvf jdk-8u151-linux-x64.tar.gz
3、配置环境变量
(1)vim /etc/profile
(2)在最后加入：
JAVA_HOME=/usr/java1.8
PATH=
PATH
export JAVA_HOME PATH
(3)保存退出
4、source /etc/profile
5、检测是否安装成功，输入命令：java -version
1.2、修改主机名称，关闭防火墙
1、root账号下使用命令：hostnamectl set-hostname hadoop02
2、Xshell关闭连接窗口，重新连接即可更改过来
3、关闭防火墙（CentOS7）
(1)firewall-cmd –state #查看防火墙状态
(2)systemctl stop firewalld.service #停止firewall
(3)systemctl disable firewalld.service #禁止firewall开机启动
1.3、添加内网域名映射[Centos ip地址静态化
cd /etc/sysconfig/network-scripts
ls找到对应的文件
BOOTPROTO=static
ONBOOT=yes
IPADDR= 192.168.137.100 //IP地址
NTSMASK=255.255.255.0
GATEWAY=192.168.137.2 //默认网关
Service network restart
1、修改配置文件：vim /etc/hosts
1.4、配置免密码登录
1、在root登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa
2、之后你会发现，在/root/.ssh 目录下生成了公钥文件
3、使用一个简单的方式，使用命令：
注：自己也要给自己复制秘钥
生产秘钥的地方 和验证秘钥的路径不一样]
ssh-copy-id hadoop02
建立hadoop01到hadoop02的免密码登录
2、Hadoop集群环境安装
2.1、Hadoop版本选择
1、Apache官方版本：
1.X
2.X 2.6.5 2.7.5 3.0.1
2、商业发行版本
提供完善的管理系统，修复bug可能会领先于官方版本
Cloudera公司的CDH：5.7.X
2.2、安装Hadoop
2.2.1、Hadoop伪分布式模式安装
Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夹中，伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml（其中hdfs-site.xml用来配置数据块的副本数量，对于伪分布式来说，不管你配置几个副本数量，它始终都只有一个副本，所以可以不用管）。Hadoop分配置文件是xml格式，每个配置文件以声明property的name和value的方式来实现
1、修改hadoop-env.sh配置文件，添加jdk安装目录
[root@hadoop01 hadoop]# vim hadoop-env.sh
2、修改core-site.xml
fs.defaultFS
hdfs://hadoop01:9000
hadoop.tmp.dir
/opt/hadoop-2.7.5/temp
3、修改slaves
hadoop01
4、添加hadoop环境变量：vim /etc/profile
HADOOP_HOME=/home/hadoop-2.7.5
PATH=
HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH
5、格式化namenode
[root@hadoop01 hadoop]#hadoop namenode -format
6、启动hdfs
[root@hadoop01 hadoop]#start-dfs.sh
7、检查是否启动成功
(1)利用jps工具检测各进程是否启动成功
(2)利用web UI 查看http://hadoop01:50070
