Hadoop安装配置详解

版权声明:本文为博主原创文章,转载请注明出处! https://blog.csdn.net/q1406689423/article/details/70185391

最近听大数据说得比较多,也是有些好奇,于是看了一些大数据的相关视频讲解,用了业余时间配置了Hadoop的环境,也走了不少弯路,现在在这做一个总结,希望能为后来配置环境的一个借鉴。
首先,要准备安装需要的工具,列出如下:

1.VM ware虚拟机
2.Linux系统镜像:centos7.0
3.Linux下的jdk包
4.Hadoop包
5.secureCRT
6.WinSCP

之后的步骤为:

1.安装虚拟机,安装centos7.0虚拟系统,这些网上一抓一大把,在此不做过多介绍。
2.安装WinSCP,这个是用来和Linux系统进行文件传输的软件。
3.安装SecureCRT,这个是用来远程操作Linux系统的软件

以上三步基本都是在windows下,基本都是点击next即可。

然后在VMware中修改一下虚拟机的网络适配器为自定义,选择VMnet0即可。
在Linux系统中点击右键,找到”Open Terminal”,点击进入
输入ifconfig回车,该命令可获得设备网络信息。获得IP地址,在主机中ping 该IP,查看是否连通。
若连通,则在winSCP中输入Linux的ip和“用户名”、“密码”即可。

然后直接将下载好的jdk和Hadoop安装包拖入winSCP右方Linux的“tmp”文件夹下即可。

(前面这些内容是基础,最容易出错的地方也就是网络连通一块,我在没将网络适配器更改为”vmnet0“的时候也是连不通的,在更改之后就可以了,而且可能会出现多个ip,我选择第一个为准,好像别的也连不通)。之后该正式在Linux中进行操作了,在这我用SecureCRT进行操作,这个跟在Linux终端下操作是一样的。SecureCRT的使用跟WinSCP类似,也是输入ip、“用户名”和“密码”即可。

然后就可以看到命令行操作界面了。
重头戏来了

1.安装JDK

(1)卸载自带JDK

Linux本身是自带JDK的,不过是OpenJDK,和我们平时使用的不太一样,我们可以先卸载它。
卸载的方法如下:
输入rpm -qa|grep java

之后会罗列出来几个JDK文件夹,然后对各个文件夹逐个删除
删除的命令行为:

rpm -e --nodep xxx文件夹(刚才已经找到的那些文件夹)

删除之后可以再次通过rpm -qa|grep java或者java -version验证是否已经删除

(2)安装JDK

然后就是安装了,先打开JDK所在目录:
输入cd /tmp回车
输入ls回车,会显示出当前目录下文件和目录
解压JDK包,不同的文件包对应不同命令
若tar.gz,则执行tar -zxf xxx.tar.gz
若rpm ,则指定 rpm -ivh xxx.rpm
解压之后就代表已经将JDK安装了,可以在/usr/java中看到

(3)配置环境变量

Linux中也要配置环境变量
首先,要打开环境配置的文件
输入vi /etc/profile回车
这会进入/etc/profile的编辑页面,多数情况会让选择操作,选择(E)dit 回车即可。
进入之后是一个vim编辑器界面,vim编辑器默认进入是命令模式
单击“i”键即可进入“insert模式”,该模式下可编辑内容
在该文件最后输入以下内容

export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=.:$JAVA_HOME/bin:$PATH

第一个参数即为JAVA_HOME,第二个为PATH环境变量。

注意:$之前是“.”和“:”,在Linux中是用“:”对各个环境变量进行分割的,这一点和windows是不同的,windows下是用“;”,这一点需要注意。

之后点击键盘上的“Esc”键,进入命令模式
输入:wq回车,这条命令的含义是保存并退出vim编辑器

然后就重新回到了Terminal中
输入source /etc/profile回车,该命令作用是使环境变量生效

至此,JDK安装完成,可以通过java -version验证是否安装成功

2安装Hadoop

Hadoop的安装跟JDK安装步骤类似,不过官方建议将Hadoop安装在/usr/local文件夹下,所以可以执行一下移动操作
输入cd /tmp回车打开tmp文件夹
输入ls回车列出文件和文件夹
输入 mv xxx.tar.gz /usr/local回车(注意中间空格)
输入 cd /usr/local回车
输入 ls回车可以看到已经移动到了/usr/local目录下

之后解压,和JDK解压命令相同,不做重复

解压之后更改文件夹名称为hadoop方便使用
如:现在文件夹名称为hadoop-2.6.5
输入 mv hadoop-2.6.5 hadoop即可(同样注意空格)

设置环境变量

这次设置环境变量和之前设置jdk一样,只需要新建一个HADOOP_HOME即可

更改变量为:

export JAVA_HOME=/usr/java/jdk1.8.0_121
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

这样,在Terminal中输入hadoop version看到hadoop版本即为hadoop安装成功。

猜你喜欢

转载自blog.csdn.net/q1406689423/article/details/70185391
今日推荐