虚拟机 伪分布式与分布式 搭建

1.伪分布式搭建
首先启动一台虚拟机 (确保虚拟机可以联网)
用xshell连接 连接成功后

使用命令 rz
如果没有rz命令
输入yum install lrzsz -y 进行下载
ftp 使用命令rz-----
注：首先下载—yum install lrzsz -y
下载完成后

在opt下新建一个文件夹
使用 rz 将本机中的jdk压缩包发送到opt下的文件下

发送完成后
进行解压
tar -zxvf jdk的压缩包名
tar -zxvf jdk1.8.0_121

然后配置jdk的环境变量

export JAVA_HOME=/opt/software/jdk1.8.0_121
	export PATH=$PATH:$JAVA_HOME/bin
	source /etc/profile-----让环境变量生效
注：
	用户变量  .bashrc
	系统变量	/etc/profile

上传hadoop
与jdk方式一样 存放到相同目录下

解压hadoop
tar -zxvf hadoop-2.6.5.tar.gz

配置 NameNode 与 datanode

bin---系统的操作命令（文件的增删改查）
sbin--系统的管理命令（集群的启动、关闭）
etc/hadoop---配置信息
(1)	修改hdfs-site.xml配置文件
	<property>
    <name>dfs.replication</name>
    <value>1</value>
	</property>
	<property>     
	 <name>dfs.namenode.secondary.http-address</name>
	     <value>node01(本机名):50090</value>
	</property>
(2)	修改core-site.xml配置文件
	<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01(本机名):9000</value>
	</property>
	<property>
	        <name>hadoop.tmp.dir</name>
	        <value>/var/abc/hadoop/local</value>
	</property>
(3)	修改slaves配置文件
		修改为(主机名)

3格式化NameNode(创建目录以及文件)
hdfs namenode -format

启动
/opt/software/hadoop/sbin----start-dfs.sh

配置hadoop的环境变量

export HADOOP_HOME=/opt/software/hadoop-2.6.5
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

粘贴到jdk环境变量下

把*-env.sh的文件内部所有的java路径改为绝对路径
在浏览器中访问
本机id：50070

完全分布式

需要四台虚拟机
启动
链接xshell

配置多个节点的网络映射

192.168.79.123 node01
192.168.79.124 node02
192.168.79.125 node03
192.168.79.126 node04

多节点之间免密配置

(1)配置免密登录  node01->node01
	在每一个节点上运行ssh-keygen -t rsa     产生他们自己的密钥
	在node01执行
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
	
	注：将某一个节点的文件发送到其他的节点上
	scp /etc/hosts [email protected]:/etc

   配置slaves到多个节点上-----设置的是DN节点的启动位置

修改core-site.xml和hdfs-site.xml

1)	修改hdfs-site.xml配置文件
		<property>
        <name>dfs.replication</name>
        <value>3</value>
		</property>
		<property>     
		 <name>dfs.namenode.secondary.http-address</name>
		     <value>node02(本机名):50090</value>
		</property>
	(2)	修改core-site.xml配置文件
		<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01(本机名):9000</value>
		</property>
		<property>
		        <name>hadoop.tmp.dir</name>
		        <value>/var/abc/hadoop/新地址</value>
		</property>

将修改完成后的文件发送到其他的节点上

scp -r hadoop-cluster root@node02:/opt/software

格式化，让配置文件生效
hdfs namenode -format

配置免密登录

①	ssh-keygen -t rsa
	②	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

在浏览器中访问
本机id：50070