clickhouse分析:zookeeper数据存储

  • 安装clickhouse

安装全新的clickhouse,暂无数据。

  • 开启debug级别的日志

在config.xml中,开启<level>debug</level>模式,便于查看日志内容。

  • 创建复制表

建表语句:

create table test_test
(
    Id               Int32,
    YearMonth        Int32,
    DeviceType       String
) engine = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/default_test',
'{replica}') PARTITION BY YearMonth ORDER BY (YearMonth, DeviceType) SETTINGS index_granularity = 8192;

以下为zookeeper存储的内容:

主要存储了一些建表的数据和数据块等信息。

  • 查看zookeeper存储的内容

插入一条数据到复制表中:

insert into test_test(Id,YearMonth,DeviceType) values (1,202001,'D1-2');

zookeeper显示的内容:

在分区中多出了内容,出现了202001_0_0_0的文件夹,该文件夹为我们导入的分区的文件夹,存储的内容如下:

再次写入同分区的数据:

insert into test_test(Id,YearMonth,DeviceType) values (2,202001,'D1-3');

zookeeper显示:

本地磁盘:

此时同分区的数据还未merge,官方文档提示merge将在接下来的十几分钟内完成,我们也可以手动执行:

OPTIMIZE TABLE test_test PARTITION 202001;

此时磁盘的显示:

zookeeper的显示:

不仅没有删除,还多了一个,我们通过查询语句:

select * from system.parts where table='test_test';

显示:

active中只有一个为活跃状态1,rows也为2,证明该数据块已经是merge后的,只是剩下的这两个暂时还没有被删除。

过个几分钟可以发现之前的数据块已经被删除,同时zookeeper也保持着最新的数据块状态:

  • 查询在zookeeper中的存储

目前观察,在存储中还未发现有查询在zookeeper中的存储数据,在config.xml中有一个配置:

 <!-- Allow to execute distributed DDL queries (CREATE, DROP, ALTER, RENAME) on cluster.
         Works only if ZooKeeper is enabled. Comment it if such functionality isn't required. -->
    <distributed_ddl>
        <!-- Path in ZooKeeper to queue with DDL queries -->
        <path>/clickhouse/task_queue/ddl</path>

        <!-- Settings from this profile will be used to execute DDL queries -->
        <!-- <profile>default</profile> -->
    </distributed_ddl>

在上述的截图中也看到了这个目录:

我们来执行ddl的语句看下存储的内容:

drop table test_test on cluster 'cluster01';

这其中cluster01为我们集群的名字,在metrika.xml中配置,metrika.xml是通过config.xml中的<include_from>/etc/clickhouse-server/metrika.xml</include_from>导入的。

在ddl中显示出了我们的刚刚查询的语句,该语句会被分发到所有的节点执行,目前我们只有一个节点,该部分的数据也会随着执行语句的增多而增加。

  • 其它的注意事项

若你的集群中有多个节点,会出现如下节点:

其中01-01为layer-shard,在具体的节点内,还有replica,该部分包含的节点互为副本,也即是zookeeper会将这些副本的数据进行同步。这些也跟我们的建表语句有关,不同的建表语句可能出现不同的目录。

<macros>
<layer>01</layer>
<shard>01</shard>
<replica>cluster01-01-01</replica>
</macros>

log文件夹中记录了每次insert的一些简单信息,该部分的数据也会随着数据块的增加而增多:

format version: 4
create_time: 2020-01-21 11:09:42
source replica: cluster01-01-01
block_id: 202001_18140686589791493295_2460127323285304296
get
202001_0_0_0

执行完OPTIMIZE的merge命令后,新增了一条log显示如下:

format version: 4
create_time: 2020-01-21 11:14:28
source replica: cluster01-01-01
block_id: 
merge
202001_0_0_0
202001_1_1_0
202001_2_2_0
into
202001_0_2_1
deduplicate: 0

当merge完成后parts中当块数据会同样被删除,log文件不删除,会一直增加。若将表删除,则该表的所有记录都会从zookeeper中删除掉。

  • 附录:clickhouse安装等实例教程:

https://blog.csdn.net/zhangpeterx/article/details/95091335

发布了89 篇原创文章 · 获赞 28 · 访问量 7万+

猜你喜欢

转载自blog.csdn.net/iceyung/article/details/104060187