hadoop入门（一） 让hadoop跑起来

学东西务必让他先跑起来

1.首先参考https://jingyan.baidu.com/article/922554467fe839851748f446.html 下载hadoop稳定版

2.粘贴到linux系统中 或者如果是大型服务器就上传上去

3.命令行解压  [root@localhost hadoop]# tar -xzvf hadoop-2.9.0.tar.gz 

这里出个意外发现自己下的是hadoop源码包，解压报错，于是重新下载，解压后就算成功了。

4.接下来安装完全参照 https://blog.csdn.net/edwinbalance/article/details/78640323

注意centos用yum管理软件，ubantu用apt。另外centos是在配置文件里分配sudo权限的。

免密登陆会有很多坑：权限问题参考这个就能解决，注意一定先退出ssh localhost然后chmod。

https://www.cnblogs.com/yjmyzz/p/4481720.html

这一步完成后就能远程免密登录到自己本机的hadoop节点。

5.安装java环境

centos本身就自带open jdk，java -vesion可查看。

扫描二维码关注公众号，回复： 1547653 查看本文章

获取JAVA_HOME的过程：

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.141-2.6.10.1.el7_3.x86_64/lib中。

输入下面两条命令（注意cd后有空格），获取到的就是JDK的安装目录：

cd .

pwd

• 1
• 2
• 3

这个路径，即：JAVA_HOME

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.141-2.6.10.1.el7_3.x86_64

6.安装Hadoop2

（1）可以通过https://dist.apache.org/repos/dist/release/hadoop/common/

下载（在虚拟机的浏览器中打开教程点击此链接下载），一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。 
下载后一般可以直接使用，如果网络不好可能导致文件不完整，可以在下载后先进性校验： 
校验方法： 
下载官方网站提供的 hadoop-2.x.y.tar.gz.mds 这个文件（https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.9.0/可能会出现点击那个文件直接在网页上打开的情况（无法下载），此时只需执行下面第二条指令，出来一串16禁止字符 和网页上的以一比较就行），该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，本文涉及的文件均通过浏览器下载，默认保存在 “下载” 目录中（若不是请自行更改 tar 命令的相应目录）。另外，版本号不对应自行修改成你下载的版本号。

cat ~/下载/hadoop-2.9.0.tar.gz.mds | grep 'MD5' # 列出md5检验值
md5sum ~/下载/hadoop-2.9.0.tar.gz | tr "a-z" "A-Z" # 计算md5值，并转化为大写，方便比较

运行之后显示如下 比较两字符串，若相同则正确，不同则文件损坏，一定要重新下载！！ 

yum search mariadb

6.以.tar.gz/.tgz为扩展名的文件: 
　　#tar xvzf file.tar.gz 
　　或 gzip -dc file.tar.gz | tar xvf - 

10.以.rpm为扩展名的文件安装: 

　　#rpm -i file.rpm 

　　11.以.rpm为扩展名的文件解压缩： 

　　 #rpm2cpio file.rpm | cpio -div 

Linux下如何删除非空目录

这个问题很basic,不过还是困扰了我一段时间.(这里主要讨论的是命令行模式下)
我本来觉得应该使用命令 rmdir
但是发现它无法删除非空的目录.
后来发现了原来应该使用命令 rm -rf 目录名
其中参数-f表示force.使用了这个参数就不会提示你是否要删除了.