Flink 状态与容错 ( state 和 Fault Tolerance)

Flink 状态与容错

状态性的函数和操作通过处理单个(元素/事件)存储数据,使任何类型的state构建更复杂的操作。

例如:

  • 当应用程序针对特定事件模式进行搜索的时候,state将会存储到目前为止的一些列事件。
  • 当每 分钟/小时/天 聚合事件的时候,state会持有所有等待聚合的数据。
  • 当在一连串的数据流上训练机器学习模型时,state持有当前版本的模型参数。
  • 当历史数据需要管理的时候,state允许高效的访问过去的数据

flink可以使用checkpoints对statue进行容错管理,并且允许对流应用程序执行savepoint。


了解到应用程序的state可以重新调节,意味着flink负责重新分配并行实例的状态。

Flink的queryable state允许你在flink运行时从外部接收state数据。

在工作的时候使用state,建议阅读Flink's state backends。flink提供了不同的state backends 来指定如何存储和把state数据存储在哪。State可以存在于java堆中。依赖于你的state backends,flink还可以管理应用程序的状态,意味着flink可以通过内存管理(必要时可以溢出到磁盘)来运行应用保存非常大的state。state backends 可以在不改变应用程序的逻辑的情况下进行配置。


后面会有对应的专题文章解释下面的内容

扫描二维码关注公众号,回复: 3433367 查看本文章
  • working with state:在flink应用中展示了如何使用state,并解释了不同类型的状态
  • checkpointing:描述了如何启动和配置容错的检查点
  • queryable state:解释如何在运行时访问flink以外的state
  • custom serialization for managed state:讨论了state的自定义序列化逻辑和它的升级


猜你喜欢

转载自blog.csdn.net/xu470438000/article/details/79771008