hadoop完全分布式集群的配置

简介:我这里配置的完全分布式集群,使用的hadoop用户,所以在之前必须创建一个hadoop用户,上传hadoop的jar包,然后再继续使用我接下来完全分布式的配置方法。如果在配置的过程当中出现了什么问题,欢迎博友提出来,我们一起讨论解决问题哦!

-->三台主机配置好了也后先给其配置网卡,我这里先配置好主节点的,然后自己再克隆两台,再更其改主机名,网卡既可。

配置网卡命令:vi  /etc/sysconfig/network-scripts/ifcfg-eth0

注:配置好网卡以后一定要重新重启一下网卡。命令:service network restart

做好网卡配置网卡后ping 一下百度,一般百度能通就没有问题。

--->关闭防火墙

临时关闭: 

执行命令: service iptables stop

永久关闭:

执行命令: chkconfig iptables off

--->设置主机名

执行命令 :hostname HadoopMaster 

vi /etc/sysconfig/network

--->ip hostname 绑定

执行命令: vi /etc/hosts

验证: ping HadooptMaster 

--->然后用winscp传输hadoop和jdk到虚拟机上面,安装hadoop

tar -zxvf hadoop-2.7.3.tar.gz 解压(jdk也是如此)

然后用 vi ~/.bash_profile

配置jdk

--->开始配置hadoop的环境

1.hadoop-env.sh

vim /home/hadoop/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

添加下面一行代码:

export JAVA_HOME=/home/hadoop/software/jdk1.8

然后保存文件

2.yarn-env.sh

在文件的靠前的部分找到下面的一行代码:

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

将这行代码修改为下面的代码(将#号去掉):

export JAVA_HOME=/home/hadoop/software/jdk1.8

然后保存文件。

3.core-site.xml

 core-site.xml 中的内容:

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://HadoopMaster:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/software/hadooptmp</value>

</property>

</configuration>

 

 4.hdfs-site.xml

 hdfs-site.xml 中的内容:

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

 5.yarn-site.xml

 yarn-site.xml 中的内容:

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>HadoopMaster:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>HadoopMaster:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>HadoopMaster:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>HadoopMaster:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>HadoopMaster:8088</value>

</property>

</configuration>

 6.mapred-site.xml

mapred-site.xml 中的内容

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 7.HadoopMaster 节点配置 works 文件

使用 vim 编辑:

vim /home/hadoop/hadoop-3.3.0/etc/hadoop/works

用下面的代码替换 works 中的内容:

HadoopSlave01

HadoopSlave02

8.主节点的内容配置好了,然后克隆两台从节点

 

 9.配置 Hadoop 启动的系统环境变量

三个节点上进行操作,操作命令如下:

该配置需要同时在个节点执行HadoopMaster 、HadoopSlave01、HadoopSlave02)

vim ~/.bash_profile

将下面的代码追加到.bash_profile文件末尾:

#HADOOP

export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0 

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后执行命令:

source ~/.bash_profile

注意:这里前面已经配置好了

10.重新配置网卡并修改虚拟机的主机名和重新绑定ip就可以了

 

11.格式化NameNode文件系统

格式化命令如下,该操作需要在HadoopMaster 节点上执行:

hdfs namenode -format

注:主节点进行格式化,从节点不需要格式化。

12.启动 Hadoop集群 

start-all.sh

Jps

主节点:

第一个从节点:

第二个从节点:

完全分布式已近配置完毕!!!

猜你喜欢

转载自blog.csdn.net/m0_52725750/article/details/128165605