【Flink】Flink 记录一个 checkpoint 检查点越来越大的问题

编程语言 2023-01-28 22:31:37 阅读次数: 0

文章目录

1.概述

在这里插入图片描述

1.概述

Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？

在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。

在这里插入图片描述
状态如下

设置了增量的检查点

代码设置不一定有效，需要看实际设置成功了没。这里有才说明你设置成功了

可能和【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/125417018

【Flink】Flink 记录一个 checkpoint 检查点越来越大的问题

Flink 检查点（checkpoint）

Flink检查点问题

Flink之checkpoint一致性检查点

【Flink】Flink 做检查点报错 Checkpoint Coordinator is suspending.

Flink检查点配置、一致性

Flink-Barrier理解与checkpoint检查点制作过程(图解)

说说pg中的检查点(checkpoint)之一

Flink Checkpoints检查点

Flink检查点详解

【Flink】Flink 设置检查点失败一次就报错 setTolerableCheckpointFailureNumber 不起作用

InnoDB CheckPoint检查点

Flink系列之状态及检查点

02-Flink检查点

Flink检查点机制与状态管理

InnoDB---CheckPoint(检查点)技术

hdfs中CheckPoint(检查点)

RDD的检查点（checkpoint）机制

Spark检查点checkpoint和缓存

PostgreSQL检查点(checkpoint)详解

Flink checkPoint

【Flink】Flink 监控 Checkpoint

分享一个Flink checkpoint失败的问题和解决办法

【Flink】Flink 新一代流计算和容错 Unaligned Checkpoint、快速Checkpoint、更小的Checkpoint

【flink】Flink常见Checkpoint超时问题排查思路

【Flink】解决Flink在测试环境无法保存checkpoint问题

Flink架构（五）- 检查点，保存点，与状态恢复

入门大数据---Flink状态管理与检查点机制

FlinK之检查点与保存点机制

Flink Checkpoint 问题排查实用指南

今日推荐

美国拟限制 AI 大模型出口中国和俄罗斯

苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone

openKylin 社区生态委员会第六次会议圆满召开

阿里云正式发布通义千问 2.5

Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器

Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号

Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作

报告：Django 仍然是 74% 开发者的首选

《2024 年一季度互联网投融资运行情况》研究报告

15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？

TIOBE 5 月榜单：Fortran “复活”进入 Top 10

GCC 14.1 发布

周排行

NEFU 117 素数个数的位数

Closest Common Ancestors (Lca,tarjan)

ELK部署

【转载】Hive笔记整理（三）

SQL语句（一）基本表的定义

关于Java web开发中的MySQL的事务语句

MFC创建自定义窗体

如何用一句话激怒程序员？

《逆袭大学》文摘——9.4 基础和应用的平衡中找到大学的节奏

【spring源码分析】@Value注解原理

每日归档

更多

2024-05-11(38)

2024-05-10(38)

2024-05-09(35)

2024-05-08(42)

2024-05-07(14)

2024-05-06(40)

2024-05-05(0)

2024-05-04(7)

2024-05-03(19)

2024-05-02(0)