大数据面试题之Hadoop集群搭建步骤

一、打开需要搭建Hadoop集群的主从节点服务器 ,配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙

二、通过远程登录工具(我用的是SecureSRT) 登录到Linux系统,登录前需要在Windows系统中C:\Windows\System32\drivers\etc目录下的hosts中配置好Linux系统的ip地址和主机名,要不然远程登录工具无法连接到Linux系统

三、登录到Linux系统之后使用su命令切换到root用户下,同步主从节点服务器的系统时间、静态IP、hostname、IP地址主机映射文件,关掉防火墙。如下图,在SecureSRT下面交互窗口选择发送交互到所有标签可以同时操作主从节点。


四、配置免密钥登录

五、利用文件传输工具WinSCP将JDK、Hadoop安装包发送到主节点中

六、解压JDK、配置JDK环境变量,使用source命令生效改动的.bash_profile文件,用java -version检查是否配置成功,如果成功将解压后的JDK安装文件和.bash_profile文件使用scp命令发送到其他子节点

七、在主节点中解压Hadoop安装文件,并配置hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site-template.xml文件(复制mapred-site-template.xml并改名为mapred-site.xml)、slaves文件

八、配置Hadoop启动的系统环境变量,并将配置后的Hadoop文件和.bash_profile文件利用scp命令传输到其他从节点上,然后使环境变量生效,配置

九、创建数据目录hadoopdata

十、启动Hadoop集群

    1、格式化文件系统:在master节点上,用hdfs namenode -format命令

    2、启动Hadoop:在master节点上,用start-all.sh命令

    3、用jps命令查看进程是否启动,master节点:Jps、ResourceManager、NameNode、SecondaryNameNode;slave节点:DataNode、NodeManager、Jps

    4、Web UI查看集群是否启动成功:如果之前配置好主机名IP地址映射直接在浏览器中输入“主节点主机名:9000”

    5、查看Yarn是否正常启动:“主节点主机名:18088”

    6、运行PI实例检查集群是否成功:hadoop jar hadoop- mapreduce-examples-2.5.1.jar pi 5 5

猜你喜欢

转载自blog.csdn.net/weixin_40083942/article/details/79393155