HBase | oldWALs目录文件剧增占用磁盘空间问题

出现问题原因:

当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。

HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件,如果有就放弃清理,如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时,如果没有删除对应的znode数据,就会导致HMaster不会自动清理oldWALs。

解决方案:

1、进入Zookeeper目录下删除有关节点

2、确保hbase-site.xml中的有添加属性hbase.replication=false和属性hbase.backup.enable=false,如果是true就改成false即可,然后重启整个hbase集群。

<property>
    <name>hbase.replication</name>
    <value>false</value>
</property>

<property>
    <name>hbase.backup.enable</name>
    <value>false</value>
</property>

3、接下来可以看到oldWALs目录下占用空间已经被逐渐清理为空。


再来记录学习下HBase启动命令

单独启动 | 停止一个HMaster进程:

bin/hbase-daemon.sh start | stop master

单独启动 | 停止 一个HRegionServer进程:

bin/hbase-daemon.sh start | stop  regionserver


再记录学习下HBase中一些相关的目录结构:


hbase.rootdir
根目录,在hbase-site.xml文件中配置;

/hbase/WALs
被HLog实例管理的WAL文件;

/hbase/WALs/a12,16020,1582597804834
对于每个HregionServer,日志目录中都包含一个对应的子目录;

/hbase/WALs/a12,16020,1582597804834/a12%2C16020%2C1582597804834.1582602694764
因为日志滚动,在每个子目录下可能有多个HLog文件;

/hbase/oldWALs
当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录;

/hbase/oldWALs/a12%2C16020%2C1582597804834.1582602694764
具体的oldWALs文件;

/hbase/hbase.id
集群的唯一ID;

/hbase/hbase.version
集群的文件格式版本信息;

/hbase/corrupt
损坏的日志文件,一般为空;

/hbase/archive/
存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。

存储表的归档和快照具体目录:
/hbase/archive/data/default/表名/region名/列簇名/具体文件名

/hbase/.tmp
当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作;

/hbase/data
hbase存储数据的核心目录; 

/hbase/data目录下含有两个命名空间default和hbase,其中default是默认命名空间,如果创建的表未指定命名空间,将存放在该命名空间下,habse是系统命名空间,
他们分别对应default和hbase目录,其中刚开始default目录为空,而hbase目录结构如下:
/hbase/data/hbase/meta
/hbase/data/hbase/namespace
namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。


/hbase/data/default/
该目录存储所有用户数据表,如/hbase/data/default/表名


/hbase/data/default/表名/.tabledesc
表的元数据信息;

/hbase/data/default/表名/.tmp
中间临时数据,当.tableinfo被更新时该目录就会被用到

/hbase/data/default/表名/f569a17359edb2250cdf07964be606a7(由region的表名+Start Key+时间戳产生的hashcode)
表中每一个region的目录

region 目录

/hbase/data/default/表名/region名/.regioninfo
包含了对应region的HRegionInfo的序列化信息,类似.tableinfo。hbase hbck 工具可以用它来生成丢失的表条目元数据

/hbase/data/default/表名/region名/列族名
每个列族的所有实际数据文件

/hbase/data/default/表名/region名/列族名/文件名
hbase实际数据文件

/hbase/data/default/表名/region名/.tmp(按需创建)
存储临时文件,比如某个合并产生的重新写回的文件。

发布了44 篇原创文章 · 获赞 11 · 访问量 5422

猜你喜欢

转载自blog.csdn.net/Sampson_Hugo/article/details/104497156
今日推荐