如何有效恢复误删的HDFS文件

HDFS是大数据领域比较知名的分布式存储系统,作为大数据相关从业人员,每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题,实际操作中对重要数据文件的误删,那么如何恢复这些文件,就显得尤为重要。

本文针对误删HDFS文件的问题,通过利用HDFS的内部机制,提供了以下几种方法:

  1. 回收站机制恢复

HDFS提供了回收站功能,当我们执行hdfs dfs -rm -r some_file命令后,文件不会被立即删除。而是先将要删除的数据移动到当前用户的.Trash目录下,待超过一定时间(可通过参数配置)后才会真正执行删除的操作。

首先看个例子:

[root@bigdatalearnshare-3 ~]# hdfs dfs -rm -r /bigdatalearnshare/test/stats.json
20/07/24 16:42:35 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 360 minutes, Emptier interval = 0 minutes.
20/07/24 16:42:35 INFO fs.TrashPolicyDefault: Moved: ‘hdfs://bigdatalearnshare-1:9000/bigdatalearnshare/test/stats.json’ to trash at: hdfs://bigdatalearnshare-1:9000/user/root/.Trash/Current/bigdatalearnshare/test/stats.json
Moved: ‘hdfs://bigdatalearnshare-1:9000/bigdatalearnshare/test/stats.json’ to trash at: hdfs://bigd

猜你喜欢

转载自blog.csdn.net/weixin_43214644/article/details/126346961