总算在window下运行起来了hadoop小记

首先安装JDK 直接安装到C盘符下就行了

然后安装cygwin,在选择openssl,openssh

准备在elipse下编译的 还需要安装“BaseCategory”下的“GUN SED“

建议还安装

还建议将“EditorsCategory”下的vim安装,以方便在Cygwin上直接修改配置文件;“DevelCategory”下的subversion建议安装,

然后把JDK和cygwin安装路径配置环境变量

需要配置的环境变量包括PATH和JAVA_HOME:JAVA_HOME指向安装目录,Cygwin的bin目录,以及Cygwin的usr\bin目录都必须添加到PATH环境变量中

我的用的是hadoop-0.20.1下面是下载的 

http://dl.dbank.com/c0b3kwezsa

点击桌面上的

Cygwin

图标,启动

Cygwin

,执行

ssh-host-config

命令

点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令 查看是否SSH 执行成功

再查看我的电脑---服务----启动CYGWIN sshd服务

在执行ssh-keygen命令生成密钥文件

然后在进入 Cygwin/home/用户文件夹/ 

执行ls -a 命令 会看到一个隐藏的.ssh 文件夹 没有自己创建

再执行cp id_rsa.pub authorized_keys

再执行ssh localhost  然后输入yes即可

失败可以把该文件删除 重新来一次

然后把下载下来的hadoop 解压到c:/hadoop/run 目录下

把conf 下的hadoop-env.sh #JAVA_HOME  地#号去掉 填上自己的JDK安装目录

ssh-keygen

列如我的 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_23  前面cygdrive这个必须写。不知道的可以在cygwin 下执行 cd $JAVA_HOME 查看当前路径

ore-site.xml

hdfs-site.xml

mapred-site.xm

再修改里面的core-site.xml、hdfs-site.xml和mapred-site.xml

查找自己安装hadoop下面的src文件夹

core目录下的core-default.xml文件复制到conf目录下,并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值,端口自己定义只要没暂用即可我定义的是localhost:10001

hdfs目录下的hdfs-default.xml文件复制到conf目录下,并将hdfs-default.xml文件名改成hdfs-site.xml。不需要再做其它修改

mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下,并将mapred-default.xml文件名改成mapred-site.xml。修改mapred.job.tracker的值端口自己定义没用即可 我定义的是localhost:10002

在回头到自己安装的hadoop/bin下面

格式化文件节点

执行./hadoop namenode -format

在执行./start-all.sh

如果失败 可以执行./stop-all.sh

再把上面的重复一次

成功了可以执行下面

检视分布式文件系统状况,其中 Live Nodes 字段应当显示为正常运行并连接到 namenode服务器的datanode个数
http://192.168.1.113:50070/dfshealth.jsp

本地主机的Hadoop Map / Reduce的管理

检视集群运转状况,其中 Nodes 字段应当显示正常运行并连接到 jobtracker 的 task tracker 个数。

http://192.168.1.113:50030/jobtracker.jsp 

-----------暂记

猜你喜欢

转载自xjl712.iteye.com/blog/1913941