文章目录
1.概述
根据Git: https://github.com/ivi-ru/flink-clickhouse-sink.git
的flink clickhouse sink,这种方式采用的是http方式写入的,这样写入会有一些问题。
首先说明
- ck的http接口,不仅可以写入数据,也是用来查询数据的端口
- ck的tcp接口是无状态,写入速率很快
目前只找到了flink http写入的方式,tcp自己搞了一下,速度确实很快,但是没找到怎么支持json格式插入的。
我测试的时候将写入速率提高了,导致写与查询超过限制了,如下。
现网环境运行突然出现:DB::Exception: Too many simultaneous queries. Maximum: 200
问题出现的原因应该是大量的数据入库,导致树合并频率过高,查询速度下降,出现了很多慢查询。
缓解