Hadoop伪分布式搭建步骤

在安装单节点的基础上进行。-----点击超链接可以知道如何安装单节点。

1、开启sudo(作用是可以避免root用户与普通用户来回切换)。-------配置单节点时也可以设置sudo。

2、可以修改主机名(看你是否想要修改主机名，如果没有必要，可以不修改）。

$ sudo vim /etc/sysconfig/network

修改【HOSTNAME=????】

3、无密码登陆----使用普通用户

$ ssh-keygen -t rsa 一路回车。

4、进入.ssh目录，将公钥文件更名为authorized_keys文件，即可实现ssh连接自己不再需要密码。

确保authorized_keys的权限为600。

$ cd /home/betty/.ssh -------进入.ssh目录。

$ mv id_rsa.pub authorized_keys

$ chmod 600 authorized_keys

结果验证

$ ssh localhost

成功后，最好删除id_rsa.pub文件

5、更改配置文件信息

需要配置三个配置文件 core-site.xml hdfs-site.xml slaves

$ vim /home/betty/soft/hadoop/etc/hadoop/core-site.xml

配置core-site.xml（Hadoop集群的特性，作用于全部进程及客户端）
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

$ vim /home/betty/soft/hadoop/etc/hadoop/hdfs-site.xml

hdfs-site.xml（配置HDFS集群的工作属性, 主要是用来指定集群中数据块的副本系数）
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

$ vi /home/betty/soft/hadoop/etc/hadoop/slaves（目的配置datanode节点）

添加：【dog1】------我的主机名为dog1

6、重启机器

$ sudo reboot

7、对文件系统进行格式化

$ hdfs namenode -format

如果Error: JAVA_HOME is not set and could not be found.
修改hadoop-env.sh：
export JAVA_HOME=/home/hyxy/soft/jdk

8、启动守护进程

$ start-all.sh ----------启动所有(不建议使用)

$start-dfs.sh -----------单独启动hdfs

$start-yarn.sh----------单独启动yarn

还可以单独启动：

单独启动namenode

hadoop-daemon.sh start namenode

单独启动SecondaryNameNode

hadoop-daemon.sh start secondarynamenode

单独启动datanode

hadoop-daemon.sh start datanode

9、查看各线程是否开启

$ jps

10、并访问50070----打开任意浏览器输入：IP地址:50070

访问格式：IP地址:50070

如果虚拟机内能访问到50070而本机不能？？？？
   ping一下是否两台机器能通信
   检查防火墙是否关闭
       su root
       service iptables stop
       chkconfig iptables off

11、关闭线程

$ stop-all.sh ---------关闭所有(不建议使用)

$ stop-dfs.sh --------单独关闭hdfs

$ stop-yarn.sh ------单独关闭yarn

11、配置成功！

Hadoop伪分布式搭建步骤

猜你喜欢