hadoop伪集群配置

1. 将hadoop与主机连接方式设置成host-only,并设置静态地址

http://oracle-api.iteye.com/admin/blogs/2304613

2. 修改主机名

vi /etc/sysconfig/network

验证：重启 reboot

3. 修改hostname和IP绑定

vi /etc/hosts

增加一行内容: 192.168.56.2 hadoop

验证：ping hadoop

4. 关闭防火墙

service iptable stop

验证： service iptable status

5 关闭防火墙的自动运行

chkconfig iptables off

验证: chkconfig --list | grep ipconfig

修改前： 0:off 1:off 2:on 3:on 4:on 5:on 6:off

修改后： 0:off 1:off 2:off 3:off 4:off 5:off 6:off

6 SSH的免密码登录

6.1 执行命令

ssh-keygen -t rsa 回车回车回车，

生成的密码位于~/.ssh/ (root账户位于/root/.ssh/)

验证: ~/.ssh/ 下产生两个文件 id_rsa 和 id_rsa.pub

6.1 复制公钥文件（作为一个请求登录的机器，被请求机器的公钥是位于请求机器的~/.ssh/authorized_keys文件中）

~/.ssh/下执行命令： cp id_rsa.pub authorized_keys

验证: 执行命令 ssh localhost (用ssh方式登录到localhost)，退出登录命令: exit

7.1 下载hadoop-2.6.4.tar.gz 和 jdk-6u45-linux-i586.bin

http://www.oracle.com/technetwork/java/javase/downloads/index.html

http://mirrors.cnnic.cn/apache/hadoop/core/

7.2 删除/usr/local/下文件 rm -rf /usr/local/*

7.3 复制安装文件 cp /root/downloads/* /usr/local/

7.4 赋予执行权限

chmod u+x jdk-6u45-linux-i586.bin

chmod u+x hadoop-2.6.4.tar.gz

8 安装jdk

8.1 执行命令 ./jdk-6u45-linux-i586.bin 解压文件

8.2 设置path，命令 vi /etc/profile , 添加下面两行：

export JAVA_HOME=/usr/local/jdk1.6.0_45

export PATH=.:$JAVA_HOME/bin:$PATH

保存执行命令: source /etc/profile 使之生效

验证: java -version

9 安装hadoop

9.1 解压 tar -zxvf hadoop-1.2.1.tar.gz

9.2 设置path，命令 vi /etc/profile , 添加下面两行：

export HADOOP_HOME=/usr/local/hadoop-1.2.1

export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

保存执行命令: source /etc/profile 使之生效

9.2 修改$HADOOP_HOME/conf/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.6.0_45

9.3 修改$HADOOP_HOME/conf/core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://hadoop:9000</value>
		<description>change your own name</description>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop-1.2.1/tmp</value>
	</property>
</configuration>

9.4 修改hdfs.site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>

9.5 修改mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>hadoop:9001</value>
		<description>change your own hostname</description>
	</property>
</configuration>

9.6 格式化hdfs

执行命令：hadoop namenode -format

10 启动hadoop

执行命令：start-all.sh

验证: jps 出现5个进程

或打开网页: http://192.168.56.2:50070/ 和 http://192.168.56.2:50030/

11 重新格式化hdfs的方法

删除/usr/local/hadoop-1.2.1/tmp 后重新格式化

猜你喜欢