【Hadoop】(一) 分布式环境搭建

一、创建虚拟机配置基本环境

创建三台虚拟机
1、下载jdk包
2、解压配置环境变量
3、具体安装步骤参考
https://blog.csdn.net/weixin_42804692/article/details/103221609

二、无密登录

三台虚拟机互通，决定好谁做主机谁做从机
主机生成密钥对，id_rsa.pub公钥

[root@yang ~]ssh-keygen –t rsa –P ''
[root@yang ~]cd /etc/.ssh/
[root@yang ~]ll
-rw-------. 1 root root 1679 Dec  6 08:57 id_rsa
-rw-r--r--. 1 root root  391 Dec  6 08:57 id_rsa.pub

其他两台从机没有.ssh目录，建议生成密钥对后删除id_rsa.pub然后把主机的公钥复制到两台从机的.ssh目录下

[root@yang ~]scp id_rsa.pub root@192.168.56.172:/root/.ssh/

切换到从机，把主机的公钥复制到另一个文件authorized_keys中，并给文件赋权600

[root@yang2 ~]cat id_rsa.pub >> authorized_keys
[root@yang2 ~]chmod 600 authorized_keys

连接的时候输入地址长又繁琐，把地址和主机名映射
地址和主机名绑定,vi /etc/hosts 在文件末尾追加 ip地址 主机名

[root@yang2 ~]vi /etc/hosts
192.168.56.171 yang
192.168.56.172 yang2
192.168.56.173 yang3

三、配置hadoop安装配置

主机中
1、安装包解压，移动文件夹，改名

[root@yang opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
[root@yang opt]# mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
[root@yang opt]# ls
hadoop-2.6.0-cdh5.14.2.tar.gz  jdk-8u11-linux-x64.tar.gz  soft

2、修改配置文件
需要修改的配置文件,在/soft/hadoop260/etc/hadoop目录下
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
1.配置hadoop-env.sh

[root@yang opt]# cd soft/hadoop260/etc/hadoop
[root@yang hadoop]# vi hadoop-env.sh 
文件中改：
export JAVA_HOME=/opt/soft/jdk18011 #具体的Java安装路径

2.配置core-site.xml

[root@yang hadoop]# vi core-site.xml
文件中加：
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://yang:9000</value>
        </property>
        <!--临时文件存放-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
        <!--开放访问权限-->
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <!--可访问的用户组-->
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

3.配置hdfs-site.xml

[root@yang hadoop]# vi hdfs-site.xml
<configuration>
		<!-- 数据块的副本个数-->
        <property>
                <name>dfs.replication</name> 
                <value>1</value>  
        </property>
        <!--hdfs的访问权限-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

4 mapred-site.xml有一个模板，拷贝这个模板进行配置

[root@yang hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@yang hadoop]# vi mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framwork.name</name>
                <value>yarn</value>
        </property>
</configuration>

5.配置yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>yang</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6.配置slaves

cong2
cong3
(localhost为伪分布，主机，从机是一个机器)

6.配置Hadoop环境变量

[root@yang ~]#vi /etc/profile

export HADOOP_HOME=[你的hadoop具体安装路径]
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

[root@yang ~]#source /etc/profile

如果搭多台机器则把再主机上配置好的hadoop整个文件夹拷贝到其他两台机器上

[root@yang soft]#scp -r hadoop260 root@192.168.56.172:/opt/soft/

启动Hadoop
先格式化，再启动

[root@yang hadoop]#hdfs namenode -format
[root@yang hadoop]#start-all.sh
[root@yang hadoop]#jps
2448 DataNode
2355 NameNode
2645 SecondaryNameNode
2805 ResourceManager
3237 Jps
2902 NodeManager

浏览器输入ip:50070出现Hadoop的管理界面

hadoop 操作文件/目录的基本命令

hdfs dfs -mkdir -p [目录名]
hdfs dfs -rm -r [目录名/文件名]
hdfs dfs -put [/目录名/文件名] [/路径]
hdfs dfs -get [/路径] [/目录]