支持在 Kubernetes 运行,添加多种连接器,SeaTunnel 2.1.2 版本正式发布!

在 Apache SeaTunnel(Incubating) 2.1.1 发布后一个月左右的时间里,社区接受了来自全球的团队或个人累计近百个PR,为大家带来 2.1.2 版本。该版本提高了稳定性,并在功能、文档、示例等方面得到优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

01 主要功能更新

添加Webhook和Http2种连接器,主要增强Http相关数据处理能力。

特别感谢tmljob同学的贡献。

01 Webhook

用户可以通过该连接器实现任务的调度,事件的调度,数据的推送等各式各样的实用功能,只需输出端提供Http服务能力的支持即可。

详情见https://seatunnel.apache.org/docs/2.1.2/connector/source/Webhook

02 Http

支持读取Http接口数据,为上游提供通过Http完成数据传输到SeaTunnel做进一步处理的能力,Http是一个通用标准的接口,可以通过这种方式完成各种业务的接入。使用方式如下:

Http {
   url = "http://date.jsontest.com/"
   result_table_name= "response_body"
  }




FlinkSQL模块添加了Kafka和ElasticSearch连接器,现在SeaTunnel可以用SQL来读取写入这些数据源的数据了。

Transfrom方面添加了UUID和Replace的支持,可以更加灵活地对数据进行简单处理。同时支持了自定义函数的添加,帮助用户实现各种自定义业务逻辑。

03 支持在Kubernetes上运行SeaTunnel

Kubernetes已经成为云原生时代的必备组件,SeaTunnel自然需要提供对应的支持。

官方适配SeaTunnel运行在Kubernetes,教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

02 具体更新内容

01 [Connector]

  • 添加Spark webhook connector的支持

  • 优化Connector的Jar包结构

  • 添加Spark Replace transform组件

  • 添加Spark Uuid transform组件

  • Flink的JDBC source添加了对Oracle适配

  • 添加Flink HTTP connector的支持

  • 添加Flink注册自定义函数功能

  • Flink SQL模块添加Kafka和ElasticSearch connector的支持

02 [Core]

  • 添加Flink application运行模式支持

  • 支持Flink配置的动态添加

03 [Bug Fix]

  • 修复Clickhouse Sink组件部分类型转换问题

  • 修复部分情况下Spark运行脚本第一次会运行失败的问题

  • 修复部分情况下在Spark on yarn cluster模式无法获取配置文件问题

  • 修复Spark extraJavaOptions 不能为空的问题

  • 修复Spark standalone cluster模式下无法解压内部文件问题

  • 修复Clickhouse Sink无法正常处理多节点配置问题

  • 修复Flink SQL配置解析错误

  • 修复Flink JDBC Mysql类型匹配不全的问题

  • 修复变量在Flink模式下无法设置的问题

  • 修复SeaTunnel在Flink模式下配置无法检查的问题

04 优化

  • 升级Jackson版本至12.6

  • 添加部署SeaTunnel到Kubernetes的向导

  • 调整部分泛型类型代码

  • 添加Flink SQL e2e模块

  • Flink JDBC connector 添加pre sql和post sql特性

  • 使用@AutoService生成SPI文件

  • Flink FakeSourceStream支持mock数据

  • 支持通过Flink JDBC connector读取Hive数据

  • ClickhouseFile支持ReplicatedMergeTree引擎

  • 支持Hive sink保存ORC格式数据

  • 支持Spark Redis sink自定义过期时间

  • 添加Spark JDBC事务隔离级别配置

  • 用Jackson替换代码里的Fastjson

03 致谢

感谢以下参与贡献的同学(为 GitHub ID,排名不分先后),正是大家的付出与努力,让我们能够快速推出这个版本,也欢迎更多的同学参与到 Apache SeaTunnel(Incubating) 社区贡献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted

{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/5527466/blog/5543750
今日推荐