hadoop之伪分布式模式

配置

conf/core-site.xml
这里写图片描述

conf/hdfs-site.xml
这里写图片描述

conf/mapred-site.xml
这里写图片描述

格式化

格式化一个新的分布式文件系统

$ bin/hadoop namenode -format

这里写图片描述

格式化之后,查看/tmp目录,比之前 配置环境一章,多出hadoop-ubuntu目录
这里写图片描述

启动与关闭

启动Hadoop守护进程:

$ bin/start-all.sh

注意:这里最好参照 hadoop之配置SSH远程连接 一章,配置ssh远程登录,否则会一直要求输入密码,就像下面这样
这里写图片描述

注意,这里第5行 “Are you sure you want to continue connecting..”,输入yes,会创建~/.ssh目录,内容如下
这里写图片描述

启动成功后,查看/tmp目录,多出5个Jetty服务器和5个pid节点,这是jps查看到的hadoop守护进程对应的文件
这里写图片描述

启动日志在: /usr/local/software/hadoop-1.0.3/logs下
这里写图片描述

节点访问

JobTracker - http://localhost:50030/
Hadoop所在服务器的50030端口,访问localhost:50030
这里写图片描述

NameNode - http://localhost:50070/
Hadoop所在服务器的50070端口,访问localhost:50070
这里写图片描述

点击Browse the filesystem
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
Mapred目录没有多文件夹,但是时间变化了,所以有文件被更改,但不重要

查看dfs目录
这里写图片描述
这里写图片描述
这里写图片描述
本图中的tmp/不是localhost:50070中的tmp,本图中的tmp/里面是空的

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

放文件,input目录默认在user/{当前登录用户名}/input
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

bin/hadoop fs -cat output/*
这里写图片描述

把hadoop文件系统output目录下的文件拷贝的本地,本地output/如下:
bin/hadoop fs -get output output
这里写图片描述
这里写图片描述

catoutput/*
这里写图片描述
这里写图片描述
这里写图片描述

猜你喜欢

转载自blog.csdn.net/huayushuangfei/article/details/78709992