版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/firstchange/article/details/78567810
hadoop2.0集群的搭建
使用四台虚拟物理机搭建集群
集群各角色的分配
搭zookeeper集群
解压 解压zookeeper包 修改文件名 修改zookeeper的配置文件,将其重命名 修改文件 修改/etc/profile,加上zookeeper的bin目录 设置路径 将dataDir目录改为自己规划的目录 追加 在文件最后加上zookeeper体系三个节点的ip:2888:3888 创建 手动创建zk,并创建文件myid,在不同节点上用不同的数字命名 开启 开启zookeeper进程 zkServer.sh start 查看进程状态 zkServer.status
- 修改hadoop配置文件
修改hdfs-site.xml
命名nameservices
命名两个NameNode的名称
分别指定两个NameNode的rpc地址-》主机名:8020
分别指定两个NameNode的http地址-》主机名:50070,用于浏览器查看集群状态
配置edits log的地址,协议是qjournal,jnn分布的主机名:8485,加上一个路径,用于区分不同集群的edits log文件
配置本地edits log文件存放地址
dfs.client.failover.proxy.provider.mycluster
dfs.ha.fencing.methods
dfs.ha.fencing.ssh.private-key-files
开启自动切换主备开关
配置core-site.xml
配置defaultFS,通过它可以找到NameNode的位置
切换hadoop临时文件存放目录
设置zookeeper的启动-》节点名:2181
开启集群
启动zookeeper 启动jn hadoop-daemon.sh start journalnode 在第一台NN上 格式化 hdfs namenode –format 启动NameNode hadoop-daemon.sh start namenode 在第二台NN上,同步第一台NN的信息 hdfs namenode -bootstrapStandby 进入zookeeper交互 zkCli.sh 格式化zkfc hdfs zkfc -formatZK 启动dfs stop-dfs.sh && start-dfs.sh 启动zkfc hadoop-daemon.sh start zkfc
集群检查
通过jps命令查看各个节点上的服务进程是否正常启动 通过web页面访问相应的ip和端口,可以观察到node01为active状态,node02位standby状态