Hadoop2.2三节点安装手册

微信公众号:构建设计编程
 

-------------------------------------------------------------------------------

 

安装环境配置说明

Hadoop2.2安装在redhat6.8-64位服务器,256G内存,4路CPU。

 

安装环境配置说明

 

序号

主机名

用途

IP地址

 

1

hadoop1

1Hadoop的管理节点(namenode),管理文件系统的元数据,为主节点,状态设置为active状态;

2 Hadoop的数据节点(datanode);

192.168.1.100

 
 
 

2

Hadoop2

1 Hadoop的管理节点(namenode),管理文件系统的元数据,为副节点,状态设置为standby(和oracledataguard的副节点一样),若hadoop1坏掉,则将此节点激活;

2 Hadoop的数据节点(datanode);

192.168.1.101

 
 
 

3

Hadoop3

Hadoop的数据节点(datanode)

192.168.1.102

 
 
 

 

 

 

2准备安装环境

2.1 修改主机名

1运行setup,网络配置-dns配置,注销录 (修改linux主机名方法很多,下面提供一种解决方法)

2 输入命令:hostname  hadoop1(修改主机名,在root下执行)

输入命令:hostname hadoop1

 

3 hostname查看主机名是否修改

输入命令:hostname

 

4将三台主机依次修改为hadoop1hadoop2hadoop3

 

 

2.2 修改host文件

1修改/etc/hosts文件

输入命令:vim /etc/hosts

127.0.0.1 localhost.localdomainlocalhost.localdomain localhost4  localhost4.localdomain4

::1 localhost.localdomain  localhost.localdomain  localhost6  localhost6.localdomain6

192.168.1.100  hadoop1

192.168.1.101  hadoop2

192.168.1.102  hadoop3

hosts文件中增加红色字体内容,ip地址为事先规划好的ip地址,详细见“hadoop2.2三节点安装详细配置表”。

 

2  3hadoop主机都需要进行1的方式修改hosts文件

 

 

2.4 设置java环境变量

说明:java与hadoop都安装在/opt路径下

 

1创建hadoop账户

输入命令:useradd haddoop

修改hadoop密码

输入命令修改hadoop用户密码:passwd hadoop

 

2        准备安装文件

1)hadoop安装文件hadoop-2.2.0.tar.gz上传到/opt路径下

2)jdk文件jdk-6u45-linux-x64.bin上次到/opt路径下

  

3授予jdk安装权限

chomod  +x  jdk-6u45-linux-x64.bin

 

4安装jdk文件

输入命令:cd  /opt 

输入命令:./ jdk-6u45-linux-x64.bin

安装后的路径为:/opt/jdk1.6.0_45

 

5配置java环境变量

切换到hadoop用户

输入命令:su  -  hadoop

输入命令:vim   .bashrc

在最后增加下面的代码

export JAVA_HOME=/opt/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

 

6使设置的环境变量生效

输入命令:source .bashrc

 

7查看是java环境是否设置成功

输入命令:java -version

显示:Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

表示设置成功,如下图所示


 

 

3 Hadoop安装过程

注意hadoop安装过程使用hadoop账户进行操作

3.1 设置三台主机互相授信

1hadoop1主机上使用hadoop账户登录后输入命令ssh-keygen

所有过程直接回车

 

命令执行后将在/home/hadoop路径下生成一个隐形目录.ssh,该目录下有以下几个文件:

1) authorized_keys 

2) id_rsa

3) id_rsa.pub

4) known_hosts

 

 

2制作授权文件

输入命令:cat id_rsa.pub>> authorized_keys

 

3hadoop2主机上使用hadoop账户登录后输入命令ssh-keygen

所有过程直接回车,同第一台主机hadoop1操作

 

4将主机hadoop1/home/hadoop/.ssh目录下的文件authorized_keys拷贝至主机hadoop2/home/hadoop/.ssh目录下

 

5在主机hadoop2上输入命令(进入/home/hadoop/.ssh目录下)

catid_rsa.pub >> authorized_keys

 

6 hadoop3主机上使用hadoop账户登录后输入命令ssh-keygen

所有过程直接回车,同第一台主机hadoop1操作

 

7将主机hadoop2/home/hadoop/.ssh目录下的文件authorized_keys拷贝至主机hadoop3/home/hadoop/.ssh目录下

 

8在主机hadoop3上输入命令(进入/home/hadoop/.ssh目录下)

catid_rsa.pub >> authorized_keys

 

9将主机hadoop3/home/hadoop/.ssh目录下的authorized_keys文件拷贝至主机hadoop1hadoop2/home/hadoop/.ssh目录下,生成完的authorized_keys大约1K大小

 

10设置三台主机.ssh目录的权限为777

cd /home/hadoop/

chmod 700.ssh

 

11分别设置三台主机的authorized_keys的权限

cd /home/hadoop/.ssh

chmod  644  authorized_keys

 

12验证是三台主机是否建立信任

1)1hadoop1上验证,第一次验证的时候需要输入root密码,输入一次后即可存储,后面就不需要输入了

 

 

 

输入命令:ssh hadoop2

输入命令(跟上面一样操作):ssh hadoop3

 

2)2hadoop2上验证,第一次验证的时候需要输入root密码,输入一次后即可存储,后面就不需要输入了

输入命令:ssh hadoop1

输入命令:ssh hadoop3

 

3)3hadoop3上验证,第一次验证的时候需要输入root密码,输入一次后即可存储,后面就不需要输入了

输入命令:ssh hadoop1

输入命令:ssh hadoop2

 

3.2 修改hadoop配置文件

1  hdfs-site.xml配置文件节点说明

 

 

 

2 hdfs-site.xml配置文件

<configuration>

<property><name>dfs.namenode.name.dir</name><value>/hadoop/namenode</value></property>

<property><name>dfs.datanode.data.dir</name><value>/hadoop/datanode</value></property>

<property><name>dfs.permissions</name><value>false</value></property>

<property><name>dfs.namenode.shared.edits.dir</name><value>/nameswap_nfs</value></property>

<property><name>dfs.nameservices</name><value>h2n</value></property>

<property><name>dfs.ha.namenodes.h2n712</name><value>n1,n2</value></property>

<property><name>dfs.namenode.rpc-address.h2n.n1</name><value>hadoop1:9000</value></property>

<property><name>dfs.namenode.http-address.h2n.n1</name><value>hadoop1:50070</value></property>

<property><name>dfs.namenode.rpc-address.h2n.n2</name><value>hadoop2:9000</value></property>

<property><name>dfs.namenode.http-address.h2n.n2</name><value>hadoop2:50070</value></property>

<property><name>dfs.replication</name><value>1</value></property>

<property>

<name>dfs.client.failover.proxy.provider.h2n</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value>

</property>

</configuration>

 

 

3core-site.xml配置文件

<configuration>

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://h2n</value>

</property>

</configuration>

 

3 hadoop-env.sh配置文件

export JAVA_HOME=/usr/jdk/jdk1.6.0_35

如配置了JAVA_HOME,也可直接使用:

exportJAVA_HOME=${JAVA_HOME}

 

3.3 hadoop2.2安装(待续)

 
---------------------------------------------------------------------------------------------
 
微信公众号上有完整版本,请订阅微信公众号后查看
微信公众号:构建设计编程
 

 

 

猜你喜欢

转载自moss.iteye.com/blog/2323615