【hadoop】二 使用webHDFS 对hdfs文件系统操作注意事项

版权声明：转载请标明出处。 https://blog.csdn.net/u010720408/article/details/89681727

主要是 https://blog.csdn.net/u010720408/article/details/89679474的补充

1. op=OPEN 只用于单独的文件查看下载，无法用于 文件夹 下载，而且用的是datanode的dfs.datanode.http.address中的port，后面还要指定namenoderpcaddress

	curl -v -i "http://datanodeip:50075/webhdfs/v1/temp/test.csv?op=open&namenoderpcaddress=22.xx,xx.201:8082"

如果包含中文等特殊字符需要url转一下

2. op=LISTSTATUS 、GETFILESTATUS 等类用于directory的无法用于文件，只用于文件夹，需要访问的是只能是dfs.namenode.http-address.hdfsha.nn2（不知道为什么不是nn1）;port也只能是nn2对应的port

curl -v -i "http://namenodenn2ip:50070/webhdfs/v1/temp?op=LISTSTATUS"

可以对存在hdfs上的parquet等其它分布式文件进行这个操作，因为parquet的顶层是文件夹，不能直接open下来，还得转成单文件才能用OPEN操作下下来，蛋疼之。

3. 待补充