hadoop学习记（1）--集群安装部署

下载

hadoop官网是：Hadoop.apache.org

直接打开这个链接即可下载最新稳定版，我下载到的是hadoop-2.9的

安装

1.我就准备用上两台机子吧；

namenode	192.168.27.131
datanode	192.168.27.131
datanode	192.168.27.128

2.关掉防火墙：service iptables stop

3.hosts修改

vi /etc/hosts

4.安装hadoop

扫描二维码关注公众号，回复： 3110546 查看本文章

4.1上传我们下载的hadoop-2.9.0.tar.gz到/usr/local/hadoop

4.2解压缩文件

tar -zxvf hadoop-2.9.0.tar.gz

4.3重命名文件夹

mv hadoop-2.9.0 hadoop

4.4配置Hadoop环境变量

修改文件 vi /etc/profile 追加内容

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

source /etc/profile 重新加载配置

4.5修改Hadoop的jre位置

vi hadoop-env.sh

说明：这里是jdk的安装路径

5.配置namenode

5.1修改core-site.xml

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://CentOS04:9000</value>
 </property>
 <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop</value>
 </property>
</configuration>

5.2在namenode上格式化hdfs

hadoop namenode -format

格式化成功后会生成如下目录，证明成功：

5.3启动hdfs的namenode

hadoop-daemon.sh start namenode

通过jps命令可以查看

说明：这个jps是jdk的工具，需要环境变量中配置jdk即可，上面我们已经配置了

5.4测试namenode

用浏览器打开namenode的50070端口

http://192.168.2.51:50070

如果访问不到可以到日志文件查看报错信息：

6.Datanode配置

以上操作之后其实也已经算是有了datanode,也就是本机也是有datanode

我们可以通过如下命令进行启动：

hadoop-daemon.sh start datanode

ok!这样表示成功，当然我们还需要再配置一台datanode来集群

很简单，把Hadoop安装目录文件夹拷贝到集群中其他机器上，也就是128这台机子上

scp -r hadoop CentOS01:/`pwd`

这样再启动datanode即可；也可以是使用start-dfs.sh一键启动，这样启动是整个集群，不需要一台一台去启动

当然128这台也需要修改下hosts和环境变量profile，和上面一样即可

补充：hadoop集群其实也就是hdfs的集群

hadoop学习记（1）--集群安装部署

猜你喜欢