安装hdfs集群

1.上传hadoop安装包，解压后配置环境变量

vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60

export HADOOP_HOME=/root/apps/hadoop-2.8.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.修改配置文件

要 点 提 示

核心配置参数： 指定hadoop的默认文件系统为：hdfs 指定hdfs的namenode节点为哪台机器 指定namenode软件存储元数据的本地目录 指定datanode软件存放文件块的本地目录

hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoop/

1) 修改hadoop-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_60

2) 修改core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hdp-01:9000</value>

</property>

</configuration>

3) 修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>

</configuration>

4) 拷贝整个hadoop安装目录到其他机器

scp -r /root/apps/hadoop-2.8.1  hdp-02:/root/apps/

5) 启动HDFS

首先，初始化namenode的元数据目录

要在hdp-01上执行hadoop的一个命令来初始化namenode的元数据存储目录

hadoop namenode -format

1. 创建一个全新的元数据存储目录
2. 生成记录元数据的文件fsimage
3. 生成集群的相关标识：如：集群id——clusterID

然后，启动namenode进程（在hdp-01上）

hadoop-daemon.sh start namenode

启动完后，首先用jps查看一下namenode的进程是否存在

然后，在windows中用浏览器访问namenode提供的web端口：50070

http://hdp-01:50070

然后，启动众datanode们（在任意地方）

hadoop-daemon.sh start datanode

用自动批量启动脚本来启动HDFS

1. 先配置hdp-01到集群中所有机器（包含自己）的免密登陆
2. 配完免密后，可以执行一次  ssh 0.0.0.0
3. 修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入）

hdp-01 hdp-02 hdp-03 hdp-04

1. 在hdp-01上用脚本：start-dfs.sh 来自动启动整个集群
2. 如果要停止，则用脚本：stop-dfs.sh

注释：配置免密登陆

1.ssh-keygen

2，ssh-copy-id hdp-04（免密的主机域名）