安装Hadoop Hadoop生态的配置

作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

1.安装Linux,MySql

(1)安装前准备

新建ubuntu

命名

分配内存

(二)安装

安装界面

准备安装,点击继续

点击其它选项,然后点击继续

点击“新建分区表”按钮

512m作为交换空间(最好不超过4g),剩余空间作为过载点“/”的EXT4日志文件系统

点击完成后继续

设置用户名和密码,点击继续

安装完成,重启

 

(三)安装MySql

更新软件源

安装mysql

启动和关闭mysql服务器

确认是否成功

进入mysql shell界面

2.windows 与 虚拟机互传文件

安装VMware tools

启动vmware workstation软件,运行ubuntu虚拟操作系统,登陆进入ubuntu桌面。选择“虚拟机”->“安装vmware tools”VMware tools

双击桌面的“vmware tools”,打开vmware tools安装介质。右键选择vmwaretools的gz压缩包,选择“提取到....”.,这里选择的提取到位置为桌面。

进入桌面,右键选择刚才提取的文件夹,选择“在终端打开”,打开ubuntu系统终端。

在终端的命令窗口当中,输入sudo ./vmware-install.pl命令。输入用户密码回车开始安装。出现第一个画面时,选择“y”回车

安装完成

重启电脑,重新进入,安装vmware tools即生效。鼠标和复制粘贴就生效了,windows 与 虚拟机可以互传文件

3.安装Hadoop

还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课件:

提取文件:hadoop-2.7.1.tar.gz

链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

提取码: 2thj

(1)解压

复制hadoop-2.7.1到/usr/local 重命名为hadoop

 

(2)创建hadoop用户

首先打开ctrl+alt+t打开终端窗口,输入如下命令创建新用户

接着使用如下命令设置密码,可简单设置为hadoop,按提示输入两次密码

可为hadoop用户增加管理员权限,方便部署,避免一些比较棘手的权限问题

 最后注销当前用户,返回登陆界面。在登陆界面中选择刚创建的hadoop用户进行登陆

(3)更新apt

用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令

 

(4)安装SSH、配置SSH无密码登陆

Ubuntu默认已安装SSH client,此外还需要安装SSH server

安装后,可以使用如下命令登陆本机

配置无密码登陆

查看是否安装成功

(5)安装java环境

 

Linux终端中输入下面命令打开当前登陆用户的环境变量配置文件.bashrc或者用文本编辑器

 

 让环境变量立刻生效并检验

进入下一步之前,再次确保:

(6)安装hadoop 2

解压及修改文件夹名与权限

修改文件夹权限

Hadoop生态的配置

老师的博客https://www.cnblogs.com/MissDu/p/8831525.html

复制配置文件代码。

(一)运行单机模式

 运行grep

运行成功

注意,hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output删除

(二)hadoop伪分布式配置

修改配置文件

core-site.xml

hdfs-site.xml

文件配置完成后,执行 NameNode 的格式化

开启NameNode和DataNode

通过jps命令判断是否成功

(三)运行hadoop伪分布式实例

1.在 HDFS 中创建用户目录

2.创建目录 input,其对应的绝对路径就是 /user/hadoop/input

3.将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中

4.查看文件列表

5.伪分布式运行 MapReduce 作业

运行结果

将运行结果取回到本地

关闭hadoop

注意

下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 开启 NameNode 和 DataNode 守护进程就可以

猜你喜欢

转载自www.cnblogs.com/Evariste-Galois/p/10844887.html