hadoop集群Restful接口的使用

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_29303759/article/details/84348396

上次了解了yarn的REST的API之后，进一步一想，yarn有相应的REST接口，那Hadoop呢？是不是也应该又相应的REST接口进行查看文件系统以及对文件系统一些操作呢？一查，果然是有的。

官方文档地址：WebHDFS REST API

操作目录：

• HTTP GET
  • OPEN (see FileSystem.open)
  • GETFILESTATUS (see FileSystem.getFileStatus)
  • LISTSTATUS (see FileSystem.listStatus)
  • GETCONTENTSUMMARY (see FileSystem.getContentSummary)
  • GETFILECHECKSUM (see FileSystem.getFileChecksum)
  • GETHOMEDIRECTORY (see FileSystem.getHomeDirectory)
  • GETDELEGATIONTOKEN (see FileSystem.getDelegationToken)
  • GETDELEGATIONTOKENS (see FileSystem.getDelegationTokens)
  • GETXATTRS (see FileSystem.getXAttr)
  • GETXATTRS (see FileSystem.getXAttrs)
  • GETXATTRS (see FileSystem.getXAttrs)
  • LISTXATTRS (see FileSystem.listXAttrs)
  • CHECKACCESS (see FileSystem.access)
• HTTP PUT
  • CREATE (see FileSystem.create)
  • MKDIRS (see FileSystem.mkdirs)
  • CREATESYMLINK (see FileContext.createSymlink)
  • RENAME (see FileSystem.rename)
  • SETREPLICATION (see FileSystem.setReplication)
  • SETOWNER (see FileSystem.setOwner)
  • SETPERMISSION (see FileSystem.setPermission)
  • SETTIMES (see FileSystem.setTimes)
  • RENEWDELEGATIONTOKEN (see FileSystem.renewDelegationToken)
  • CANCELDELEGATIONTOKEN (see FileSystem.cancelDelegationToken)
  • CREATESNAPSHOT (see FileSystem.createSnapshot)
  • RENAMESNAPSHOT (see FileSystem.renameSnapshot)
  • SETXATTR (see FileSystem.setXAttr)
  • REMOVEXATTR (see FileSystem.removeXAttr)
• HTTP POST
  • APPEND (see FileSystem.append)
  • CONCAT (see FileSystem.concat)
• HTTP DELETE
  • DELETE (see FileSystem.delete)
  • DELETESNAPSHOT (see FileSystem.deleteSnapshot)

打开和读一个文件：提交一个HTTP GET请求

curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"

postman示例：

创建一个目录：提交一个HTTP PUT请求

curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=MKDIRS[&permission=<OCTAL>]"

postman示例：

 重命名一个文件或目录：提交一个HTTP PUT请求

curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>"

postman示例：

删除一个文件或目录：提交一个HTTP DELETE请求

curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE[&recursive=<true|false>]"

postman示例：

文件或者目录状态：提交一个HTTP GET请求

curl -i  "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS"

目录列举：提价一个HTTP GET请求

curl -i  "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS"

postman示例：

 获取目录的内容摘要：提价一个HTTP GET请求

curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"

获取目录的上下文环境汇总信息
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"

获取Check Sum File
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM"

获取Home 目录
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY"

设置权限
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]"

设置所有者
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]"

设置备份
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]"

好了，就先写这么多吧，其他的具体还是去查看官方指南吧。