[Hadoop]部署-伪分布式部署

前文已经完成了编译,接下来就是部署了

这里部署还是采用伪分布式部署,硬件条件没办法,我的破机器内存实在是拖不起三台,只能装一台用伪分布式了.

1.基本安装

找到我们刚才编译好的安装包

拷贝出来 #cp ./hadoop-2.8.1.tar.gz /etc/software

老规矩

解压 #tar -xzvf hadoop-2.8.1.tar.gz

配置环境变量

export HADOOP_HOME=/opt/software/hadoop-2.8.1

export PATH=$HADOOP_HOME/bin:$PROTOC_HOME/bin:$FINDBUGS_HOME:bin:$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

保存应用

试验下 #which hadoop

2.配置SSL免密登录

先给Root加

#cd ~

#ssh-keyge

#cd .ssh

#cat id_rsa.pub >> authorized_keys

可以看到除了第一次需要确认yes之后,后面继续访问都会直接通过了

再给Hadoop用户加

先切到hadoop用户去 #su - hadoop

#cd ~

#ssh-keygen

#cd .ssh

#cat id_rsa.pub >> authorized_keys

#chmod 600 authorized_keys

切记如果是非管理员用户设置,必须执行红色部分提权,否则会报权限问题设置不成功,切记切记

设置成功

3.配置 core-site.xml

#vi etc/hadoop/core-site.xml

配置:

<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://192.168.198.100:9000</value>
</property>

4.配置 hdfs-site.xml

#vi etc/hadoop/hdfs-site.xml

<property>
　　<name>dfs.replication</name>
　　<value>1</value>
</property>
<property>
　　<name>dfs.namenode.secondary.http-address</name>
　　<value>192.168.198.100:50090</value>
</property>
<property>
　　<name>dfs.namenode.secondary.https-address</name>
　　<value>192.168.198.100:50091</value>
</property>

5.配置 slaves

#vi etc/hadoop/slaves

192.168.198.100

5.配置hadoop-env.sh

这里要手工设置下Java路径,这里似乎是有BUG,读取不到配置的Java路径,手工设置下

5.启动

HDFS本质上是个文件系统,就好像Windows的磁盘一样,肯定需要格式化再使用的

#hdfs namenode -format

OK 启动吧

#cd /opt/software/hadoop-2.8.1

#sbin/start-dfs.sh

可以看见启动成功了并且都是以我们的IP来提供服务的

问题

管理UI 50070 无法访问

查看一下端口

#netstat -tunlp

我每个都试了都不行搜了貌似是我因为是Mini版的问题,没法办,还得调下配置

#vi etc/hadoop/hdfs-site.xml

　　<name>dfs.http.address</name>

</property>

重启一下HDFS 问题解决

[Hadoop]部署-伪分布式部署

猜你喜欢