hadoop shell命令操作

先看我服务器情况:

shizhan01有 ResourceManager 和 NameNode

shizhan02 03 04里是我的 NodeManager 和 DataNode

访问 http://shizhan01:50070


DataNode是存放数据的,hdfs把我的数据都存成两份(我们在hdfs-site.xml里配置的是2),如果数据太大

超过128M时,hdfs就会把我的数据给拆开,按偏移量0-128M的存一份,剩下的存一份。

我们来复现一下这个理论。

先看一下hdfs的根目录有哪些东西,执行

hadoop fs -ls /


可以看到啥都没有,那我们在shizhan02上上传一下文件


我们创建了一个文件,把他上传到hdfs根目录,然后ls可以看到文件

当然我们看 图形界面的客户端,也能看到我们上传的 bigdata.avi 文件,看下图


其实我们把文件上传到hdfs,hdfs就会把我们的文件 重命名,存到两个地方;

也就是说我们把现在的bigdata删除也没事,因为hdfs已经把文件存起来了。

那存到了什么地方呢?


这个是我们之前在core-site.xml 里配的hadoop.tmp.dir目录

hdfs把我们的bigdata.avi文件重命名成 blk_1073741825(块_id),放在这个目录下

/home/hadoop/hdpdata/dfs/data/current/BP-1186906364-192.168.116.128-1531575944333/current/finalized/subdir0/subdir0

那因为是存两份,我们再去其他服务器里找下

shizhan03 里没有

shizhan04里有

那这就验证了我们上面说的,hdfs把我们的文件重命名,存了两份,分别在两台服务器上。

那我们再来验证下当文件超过128M了之后的情况:

我在发现shizhan01服务器上有个hadoop的安装包 超过了128M

那我们就把这个安装包上传到hdfs里

图形界面里也能看到

因为超过了128M,所以文件是被hdfs拆分了,我们来找一下

shizhan02上

blk_1073741825是我们之前上传的bigdata文件,下面的26 27是我们上传的hadoop安装包,因为大于128M,

所以被拆分成两个文件

由下图可知,副本被存在了shizhan03上

那shizhan04上,肯定就不会有啦,看下图,25是我们之前存的 bigdata文件

既然hadoop的安装包上传到hdfs里,由于大于128M导致被拆分,那如果我们把拆分的文件合起来,还能解压嘛?

我们来试一下,我们把26 和27文件都追加到一个 tmp.file文件里,最后看这个tmp.file文件能否被解压

解压 tmp.file文件,发现是可以解压的


猜你喜欢

转载自blog.csdn.net/qq_33101675/article/details/81050832