配置
conf/core-site.xml
conf/hdfs-site.xml
conf/mapred-site.xml
格式化
格式化一个新的分布式文件系统
$ bin/hadoop namenode -format
格式化之后,查看/tmp目录,比之前 配置环境一章,多出hadoop-ubuntu目录
启动与关闭
启动Hadoop守护进程:
$ bin/start-all.sh
注意:这里最好参照 hadoop之配置SSH远程连接 一章,配置ssh远程登录,否则会一直要求输入密码,就像下面这样
注意,这里第5行 “Are you sure you want to continue connecting..”,输入yes,会创建~/.ssh目录,内容如下
启动成功后,查看/tmp目录,多出5个Jetty服务器和5个pid节点,这是jps查看到的hadoop守护进程对应的文件
启动日志在: /usr/local/software/hadoop-1.0.3/logs下
节点访问
JobTracker - http://localhost:50030/
Hadoop所在服务器的50030端口,访问localhost:50030
NameNode - http://localhost:50070/
Hadoop所在服务器的50070端口,访问localhost:50070
点击Browse the filesystem
Mapred目录没有多文件夹,但是时间变化了,所以有文件被更改,但不重要
查看dfs目录
本图中的tmp/不是localhost:50070中的tmp,本图中的tmp/里面是空的
放文件,input目录默认在user/{当前登录用户名}/input
bin/hadoop fs -cat output/*
把hadoop文件系统output目录下的文件拷贝的本地,本地output/如下:
bin/hadoop fs -get output output
catoutput/*