Hadoop 三种配置形态共存

1.创建三个配置目录,内容等同于hadoop目录

${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full

2.创建符号连接

$>ln -s pesudo hadoop ##(使用哪个模式，就将哪个模式创建连接)

3.对hdfs进行格式化

$>hadoop namenode -format

4.修改hadoop配置文件，手动指定JAVA_HOME环境变量

 [${hadoop_home}/etc/hadoop/hadoop-env.sh]
        ...
        export JAVA_HOME=/soft/jdk
        ...

5.启动hadoop的所有进程

$>start-all.sh

6.启动完成后，出现以下进程

$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode

29041 ResourceManager
34191 NodeManager

7.查看hdfs文件系统

 $>hdfs dfs -ls /

##如果出现以下错误：
Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;

##解决办法：
##修改core-site.xml文件为
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:8020</value>
</property>
##重新格式化
hadoop namenode  -format
##重启
start-all.sh

8.创建目录

$>hdfs dfs -mkdir -p /user/centos/hadoop

9.通过webui查看hadoop的文件系统

 http://localhost:50070/

10.停止hadoop所有进程

$>stop-all.sh

11.centos防火墙操作

##启动firewalld服务，并使用systemctl命令将其添加到启动时。

systemctl start firewalld

systemctl enable firewalld

##接下来，使用firewall-cmd命令将apache tomcat端口8080添加到防火墙，并重新加载firewalld服务。

firewall-cmd --zone=public --permanent --add-port=8080/tcp

firewall-cmd --reload

##检查防火墙中是否提供所有服务，并检查Apache Tomcat端口8080是否打开。

firewall-cmd --list-ports

firewall-cmd --list-services

##Apache Tomcat端口8080可以从网络外部访问，并且ssh端口也默认打开。


        [cnetos 6.5之前的版本]
        $>sudo service firewalld stop        //停止服务
        $>sudo service firewalld start        //启动服务
        $>sudo service firewalld status        //查看状态

        [centos7]
        $>sudo systemctl enable firewalld.service    //"开机启动"启用
        $>sudo systemctl disable firewalld.service    //"开机自启"禁用
        $>sudo systemctl start firewalld.service    //启动防火墙
        $>sudo systemctl stop firewalld.service        //停止防火墙
        $>sudo systemctl status firewalld.service    //查看防火墙状态

        [开机自启]
        $>sudo chkconfig firewalld    on                //"开启自启"启用
        $>sudo chkconfig firewalld    off                //"开启自启"禁用

注：部分端口、命令

hadoop的端口
-----------------
	50070		//namenode http port
	50075		//datanode http port
	50090		//2namenode	http port

	8020		//namenode rpc port
	50010		//datanode rpc port
hadoop四大模块
-------------------
	common
	hdfs		//namenode + datanode + secondarynamenode

	mapred
	yarn		//resourcemanager + nodemanager

启动脚本
-------------------
	1.start-all.sh		//启动所有进程
	2.stop-all.sh		//停止所有进程

	3.start-dfs.sh		//
	4.start-yarn.sh

	[hdfs]  start-dfs.sh stop-dfs.sh
		NN   //名称节点
		DN    //数据节点
		2NN   //辅助节点

	[yarn] start-yarn.sh stop-yarn.sh
		RM    
		NM

修改主机名
-------------------
	1./etc/hostname
		s201
	2./etc/hosts
		127.0.0.1 localhost
		192.168.231.201 s201
		192.168.231.202 s202
		192.168.231.203 s203
		192.168.231.204 s204

		127.0.0.1 localhost
		192.168.31.135 s135
		192.168.31.136 s136
		192.168.31.137 s137
		192.168.31.138 s138

Hadoop 三种配置形态共存

猜你喜欢