HDFS机制与基本使用

1.1提到大数据,必然联系到hadoop ,作为大数据计算框架, 必然有两个基本单元 存储与计算。

其一存储用到了HDFS(分布式文件存储系统)多机存储必然涉及到分布式与并行计算

2.1Hadoop中linux命令的使用

2.1.1启动hadoop,便于后面测试

  

  

2.1.2 hadoop fs -help rm

  查看一个命令的使用方法

2.1.3 hadoop fs -ls /

  显示目录信息

2.1.4 hadoop fs -mkdir /usr/lcoal/newfolder_1

  创建一个工作目录

2.1.5 hadoop fs -moveFromLocal

  从本地剪贴到hdfs

  补充touch 选项 文件路径(用途:创建文件或者修改文件或者目录的时间戳)

2.1.6  hadoop fs -appendToFile ximen.txt

  追加一个文件到已经存在的文件末尾

2.1.7 Hadoop fs -cat xxx.txt

  显示一个文件的内容

2.1.8 hadoop fs -tail xxx.txt

  显示一个文件的末尾

2.1.9 adoop fs -chgrp xxx

  hadoop fs -chown xxx

  hadoop fs -chmod xxx

  同上 修改Linux的组,用户,自己的权限?

2.1.10 hadoop fs -copyFromLocal xxx

  从本地拷贝到hdfs路径去

2.1.11 hadoop fs -copyTolcal xxx

  从hdfs拷贝到本地去

2.1.12 hadoop fs -cp /xxx /xxxx

  从hdfs的一个路径拷贝到另一个路径

2.1.13 hadoop  fs -mv xxx xxxx

  在hdfs 中 从一个地方移动到另一个地方

2.1.14 hadoop fs -get xxx

  从hdfs下载到本地把

2.1.15 hadoop fs -getmerge

  合并下载多个文件 比如一个路径下的多个日志文件

2.1.16 hadoop fs -put E:\test.txt /hdfs/file

  从xxx上传hdfs。

2.1.17 hadoop fs -rm xxx

  删除某个文件或者文件夹

2.1.18 hadoop fs -rmdir xxx

  删除空目录

2.1.19 hadoop fs -df  -h /

  查看文件系统的可用信息

2.1.20 hadoop fs -du -s -h /xxx

  统计文件夹大小信息

①deprecate   英 [ˈdeprəkeɪt] 美 [ˈdɛprɪˌket] 

vt.不赞成,反对

猜你喜欢

转载自www.cnblogs.com/bestzj/p/11570239.html
今日推荐