hadoop学习4---hadoop集群2

1、SSH安装
 
1,设置ssh无密码登录

~# ssh-keygen
输入上面的命令后一路回车即可。
2,拷贝生成的密码文件,默认生成的密码文件在用户名目录下的.ssh目录下
~# cd ~/.ssh
~# cp id_rsa.pub authorized_keys
3、测试是否可以无密码登录
~# ssh localhost
~#  who

 
 
2、JDK安装
 
1、在usr/下建立java目录,将Jjdk-6u31-linux-i586.bin复制到"usr/java"目录
 
2、修改jdk-6u31-linux-i586.bin权限
 
chmod 755 jdk-6u31-linux-i586.bin
 
3、安装jdk-6u31-linux-i586.bin
 
./jdk-6u31-linux-i586.bin
 
4、删除安装文件jdk-6u31-linux-i586.bin
 
rm -rf jdk-6u31-linux-i586.bin
 
5、安装完成后配置环境变量
 
在“/etc/profile”文件的尾部添加以下内容
 
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 
 
 
使配置生效
source /etc/profile
 
然后输入
 
java -version 
验证JAVA是否安装成功。
 
 
三、安装HADOOP
 
1、在usr下建立hadoop目录,将hadoop1.0.tar上传到hadoop目录
 
2、修改hadoop权限
 
chmod 755 hadoop1.0.tar
 
3、解压安装
 
tar -zxvf hadoop1.0.tar
 
4、删除原文件hadoop1.0tar
 
rm -rf hadoop1.0.tar
 
5、配置hadoop
 
配置“/etc/profile”
 
在profile的文件尾添加如下文件
 
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin 
 
保存并执行下面的命令
source /etc/profile
 
配置hadoop配置文件
 
1)配置hadoop-env.sh 
该“hadoop-env.sh”文件位于“/usr/hadoop/conf”目录下。
在文件的末尾添加下面内容。
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31 
 
2)配置core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
(备注:请先在/usr/hadoop 目录下建立tmp 文件夹)
  <description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.2:9000</value>
</property>
</configuration>
 
3)配置hdfs-site.xml文件
< configuration> 
<property>
<name>dfs.replication</name>
<value>1</value>
(备注:replication 是数据副本数量,默认为3,salve少于3台就会报错)
</property>
<configuration>
 
4)配置mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.1.2:9001</value>
</property>
</configuration> 
 
5)配置masters文件
修改localhost为Master.Hadoop
 
6)配置slaves文件(Master主机特有)
去掉“localhost”,每行只添加一个主机名,把剩余的Slave主机名都填上。
例如下面的形式
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop 
 
 
四启动hadoop
 
1)格式化HDFS文件系统
 
hadoop namenode -format
 
2)启动hadoop
在启动的时候关闭所有防火墙
 
service iptables stop
 
使用下面的命令启动
 
./start-all.sh
 
查看是否启动成功
jps
 
可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,
然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,tasktracker2,…
 
通过网页查看
1)访问“http:192.168.1.2:50030”
2)访问“http:192.168.1.2:50070”
 
 

猜你喜欢

转载自501565246-qq-com.iteye.com/blog/2041202