HDFS 相关脚本命令
Hadoop Distributed File System (HDFS) 是 Hadoop 的核心组件之一，它是一个分布式文件系统，用于存储大规模数据集。
在 Hadoop 集群中，我们可以通过一些命令行工具来管理和操作 HDFS。本文将介绍一些常用的 HDFS 命令行工具及其用法。
1. HDFS 客户端
Hadoop 提供了 hdfs 命令行工具，它是 HDFS 的默认客户端程序。使用该命令，可以与 HDFS 进行交互，例如上传和下载文件、创建目录等。
1.1 hdfs dfs -put
该命令用于将本地文件上传到 HDFS 中。
hdfs dfs -put <localPath> <hdfsPath>
其中，<localPath> 是本地文件路径，<hdfsPath> 是 HDFS 路径。
1.2 hdfs dfs -get
该命令用于将 HDFS 中的文件下载到本地。
hdfs dfs -get <hdfsPath> <localPath>
其中，<hdfsPath> 是 HDFS 路径，<localPath> 是本地文件路径。
1.3 hdfs dfs -mkdir
该命令用于在 HDFS 中创建目录。
hdfs dfs -mkdir <hdfsPath>
其中，<hdfsPath> 是要创建的目录路径。
1.4 hdfs dfs -ls
该命令用于列出 HDFS 中指定路径下的文件和目录。
hdfs dfs -ls <hdfsPath>
其中，<hdfsPath> 是要列出的路径。如果不指定路径，默认为当前用户的 HDFS 主目录。
1.5 hdfs dfs -rm
该命令用于删除 HDFS 中的文件或目录。
hdfs dfs -rm [-r] <hdfsPath>
其中，<hdfsPath> 是要删除的文件或目录路径。如果要删除目录，可以加上 -r 选项，表示递归删除。
2. WebHDFS 客户端
除了 hdfs 客户端外，Hadoop 还提供了 WebHDFS 客户端，它也是一种与 HDFS 进行交互的方式，但使用 HTTP 协议进行通信，相对于 hdfs 客户端更加方便和灵活。
2.1 curl 命令
使用 curl 命令即可完成 WebHDFS 的相关操作。例如，上传文件可以使用下面的命令：
curl -i -X PUT "http://<namenode>:<port>/webhdfs/v1/<hdfsPath>?op=CREATE&user.name=<userName>" -T <localFile>
其中，<namenode> 和 <port> 是 NameNode 的主机名和端口号，<hdfsPath> 是要上传的 HDFS 路径，<userName> 是用户名（可选），<localFile> 是要上传的本地文件路径。
其他 WebHDFS 命令的使用方法类似，只需要根据具体操作替换相应的 URL 和参数即可。
3. 总结
以上介绍了一些常用的 HDFS 命令行工具及其用法，包括 hdfs 客户端和 WebHDFS 客户端。熟练掌握这些命令，可以方便地管理和操作 HDFS 中的数据。
当然，除了命令行工具外，还有许多其他的方式来与 HDFS 进行交互，例如 Java API、Python API 等，读者可以根据自己的需求选择相应的方式。