HDFS 连接缓存

HDFS 连接获取时注意事项:

使用 FileSystem.get(Configuration conf) 方式来获取 FileSystem,得到的将是一个单利对象。 该方式默认从缓存中取出一个连接。在多线程环境下可能造成 FileSystem 异常

使用 FileSystem.newInstance(Configuration conf) 方式,每次都会返回一个新的连接对象。多线程场景推荐使用该方式。

具体分析转载自:http://note4code.com/2018/04/19/hdfs-api-%E5%90%8E%E8%AE%B0%E5%85%B3%E4%BA%8E-filesystem-%E7%BC%93%E5%AD%98/

猜你喜欢

转载自www.cnblogs.com/codefeng/p/11362333.html
今日推荐