Hadoop目录下
单机版本:
1.conf/hadoop-env.sh中添加环境变量
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45
2.conf/core-site.xml中定义如下内容
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
3.conf/hdfs-site.xml文件中
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.name.dir</name> <value>/home/xx/hadoop-1.0.4/datalog1,/home/xx/hadoop-1.0.4/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/home/xx/hadoop-1.0.4/data1,/home/xx/hadoop-1.0.4/data2</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
4.mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>5.格式化分布式文件系统
./bin/hadoop namenode -format
6.启动hadoop
./bin/start-all.sh
7.查看进程 jps
3541 SecondaryNameNode 3639 JobTracker 3846 TaskTracker 3105 NameNode 3333 DataNode
8.关闭
bin/stop-all.sh
伪分布式版本
上面的配置从网上找到的,但是感觉像伪分布式。待确认。伪分布式中仅需要将hdfs-site.xml中配置dfs.replication结点的值为1,其它属性不需要,即可。core-site.xml与mapred-site.xml同上.
http://localhost:50030/ MapReduce 的WEB页面
http://localhost:50070/ HDFS的WEB页面
HDFS bin/start-dfs.sh
MapReduce bin/mapred.sh