Hadoop环境搭建
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2，适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本。
本教程适用于单机环境（伪分布式）搭建，如果想进行完全分布式搭建，请参阅：http://blog.csdn.net/wuliowen/article/details/51921494
1、 创建hadoop用户
i. 如果你安装 CentOS 的时候不是用的 “hadoop” 用户，那么需要增加一 个名为hadoop 的用户。
ii. 可为 hadoop 用户增加管理员权限，方便部署
2、 准备工作
需要安装 SSH 和 Java。
3、 安装SSH、配置SSH无密码登陆
i. 如果是分布式的话需要在多台服务器间设置免密码登录
4、 安装Hadoop2
i. 将文档中自带的hadoop-2.6.0.tar.gz安装至/user/local中(下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz)
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
ii. Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
cd/usr/local/hadoop
./bin/hadoopversion
5、 Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
i. 在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
生效：source ~/.bashrc
ii. Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml,将当中的
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
同样的，修改配置文件 hdfs-site.xml：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>localhost:50090</value>
</property>
</configuration>
6、 配置完成后，执行 NameNode 的格式化:
$ ./bin/hdfs namenode –format
成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错。
7、 配置文件 mapred-site.xml
i. 重命名：
mv ./etc/hadoop/mapred-site.xml.template./etc/hadoop/mapred-site.xml
ii. 再进行编辑
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
iii. 接着修改配置文件 yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8、 启动
./sbin/start-all.sh
./sbin/mr-jobhistory-daemon.shstart historyserver # 开启历史服务器，才能在Web中查看任务运行情况
9、 Jps查看
如果有这五个后台进程则说明hadoop部署成功