12.linux下hadoop伪分布式的搭建

前言：

我的目录层级，opt下面有两个文件夹，一个是安装的地址，一个是原文件，我在各自的下面也创建了elk(放elksearch相关文件)，hadoop(放hadoop相关文件)，Java(放了jdk和tomcat)
在这里插入图片描述

1.首先将hadoop-native-64-2.6.0.tar和hadoop-2.6.0-cdh5.14.2.tar.gz文件通过xftp传至/opt/indtall/hadoop下面

2.将hadoop-2.6.0-cdh5.14.2.tar.gz解压到/opt/bigdata/hadoop下面

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz  -C /opt/bigdata/hadoop

3.到/opt/bigdata/hadoop下将解压完的文件名改成hadoop260

mv  (解压完的名称)  hadoop260

4.修改目录权限

[root@vbserver hadoop]# chown -R root:root hadoop260/

5.关联jdk

[root@vbserver hadoop260]# vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/bigdata/java/jdk180

6.hadoop fs 文件系统

[root@vbserver hadoop260]# vi etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://(虚拟机ip):9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

7.hadoop replicas 备份

[root@vbserver hadoop]# pwd
/opt/bigdata/hadoop

[root@vbserver hadoop]# mkdir hdfs
[root@vbserver hadoop]# ls
hadoop260  hdfs

[root@vbserver hadoop]# cd hdfs/
[root@vbserver hdfs]# mkdir namenode datanode
[root@vbserver hdfs]# ls
datanode  namenode

[root@vbserver hadoop260]# vi etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/datanode</value>
  </property>
</configuration>

8.hadoop mapreduce 计算框架

[root@vbserver hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[root@vbserver hadoop260]# vi etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

9.hadoop yarn 管理调度

[root@vbserver hadoop260]# vi etc/hadoop/yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
  </property>
</configuration>

10.hadoop slaves 主机名

[root@vbserver hadoop260]# vi etc/hadoop/slaves
vbserver(当前虚拟机的hostname我的是vbserver)

11.hadoop 环境变量

[root@vbserver hadoop260]# vi /etc/profile
export JAVA_HOME=/opt/bigdata/java/jdk180
export TOMCAT_HOME=/opt/bigdata/java/tomcat85
export NODE_HOME=/opt/bigdata/elk/node891

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@vbserver hadoop260]# source /etc/profile

12.hadoop 格式化 HDFS

[root@vbserver hadoop260]# cd bin
[root@vbserver bin]# hdfs namenode -format

(见到如下信息则说明成功)
在这里插入图片描述
13.hadoop-native库

[root@vbserver bin]# cd /opt/install/hadoop
[root@vbserver hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

14.启动 hadoop

[root@vbserver hadoop]# cd /opt/bigdata/hadoop/hadoop260/bin
[root@vbserver bin]# start-all.sh
[root@vbserver bin]# stop-all.sh

15.启动或关闭 hadoop 需要输入密码的解决方法

[root@vbserver bin]# cd ~
[root@vbserver ~]# cd .ssh/
[root@vbserver .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@vbserver .ssh]# cat id_rsa.pub >> authorized_keys 
[root@vbserver .ssh]# ssh localhost

16.启动 jobhistory

[root@vbserver bin]# cd ../sbin/
[root@vbserver sbin]# jps
[root@vbserver sbin]# ./mr-jobhistory-daemon.sh start historyserver

17.查看 hadoop 服务状态

[root@vbserver sbin]# jps
6800 NodeManager
7329 Jps
6387 DataNode
6548 SecondaryNameNode
6264 NameNode
6697 ResourceManager
7259 JobHistoryServer

18.http://192.168.6.200:8088/
在这里插入图片描述
19.http://192.168.6.200:50070/

20.http://192.168.6.200:19888/

12.linux下hadoop伪分布式的搭建

前言：

猜你喜欢