Hadoop安装及文件配置

1、首先去hadoop官网下载hadoop安装包,选择自己需要的版本,下载。
附链接:http://hadoop.apache.org/releases.html
2、把下载下来的安装包放到Linux系统或者Windows系统中解压
如Linux中使用: tar - zxvf hadoop* -C /usr/local/hadoop/
3、修改配置文件:配置文件在hadoop安装包的 /etc/hadoop 下
(1) 修改 hadoop-env.sh
把系统中java jdk 的绝对路径写在export JAVA_HOME后面
比如: export JAVA_HOME=/root/apps/jdk1.8.0_171/
(2)修改 hdfs-site.xml
主要有:

dfs.namenode.rpc-address
hadoop01:9000


dfs.namenode.secondary.http-address
hadoop02:50090


dfs.namenode.name.dir
/usr/local/hdpdata/name


dfs.datanode.data.dir
/usr/local/hdpdata/data

4、将修改好的配置文件发送给分布式平台的其他机器。
如 : scp hdfs-site.xml hadoop02:$PWD
5、对集群进行初始化
命令:·bin/hadoop namenode -format
6、至此,即可初步使用hadoop中的hdfs了。
将集群中其他需要开启的datanaode 机器 的ip地址写入etc/hadoop/slaves 文件中。
命令: 开启: sbin/start-dfs.sh
关闭: sbin/stop-dfs.sh

猜你喜欢

转载自blog.csdn.net/weixin_42061676/article/details/80786759