版本动态 | Apache Linkis 1.5.0 版本发布

Apache Linkis  1.5.0 版本已经发布,非常感谢社区各位成员对 1.5.0版本的贡献和付出。

本次版本是一个大版本,新增了多个社区期待已久的特性,如:注册中心支持切换Nacos、新增Hbase、Nabula、repl等多个引擎、新增SPARK引擎插件支持 on Yarn Cluster模式、SPARK和Flink引擎插件支持 on k8s提交Jar任务等功能特性,并修复了多个已知问题。

详情请查看 Apache Linkis 官方1.5.0的版本信息:

https://linkis.apache.org/zh-CN/download/release-notes-1.5.0

Apache Linkis 1.5.0 版本简介

● 注册中心支持将Eureka切换为Nacos

● 新增Hbase引擎插件,支持Hbase-shell全部语法并兼容多版本

● 新增Nebula引擎插件

● 新增Repl解释器引擎插件,支持运行Java和Scala代码片段

● 支持Spark EC on k8s 提交jar和Pyspark 任务

● 支持 Flink EC on k8s 提交jar任务

● Spark 引擎插件支持on yarn cluster运行模式

● Linkis JDBC driver支持多引擎多版本的选择

● 基础数据管理增加配置项管理,支持管理员管理各个引擎插件的配置项

● 管理台增加运维工具,并新加入了用户配置管理,支持管理员调整用户配置和模版管理

● 【实验性】Entrance支持任务接管,可以做到Entrance无状态

缩写:

 COMMON: Linkis Common

● ENTRANCE: Linkis Entrance

● EC: EngineConn

● ECM: EngineConnManager

● ECP: EngineConnPlugin

● DMS: Data Source Manager Service

● MDS: MetaData Manager Service

● LM: Linkis Manager

● PS: Linkis Public Service

● PE: Linkis Public Enhancement

● RPC: Linkis Common RPC

● CG: Linkis Computation Governance

● DEPLOY: Linkis Deployment

● WEB: Linkis Web

● GATEWAY: Linkis Gateway

 EP: Engine Plugin

新特性

● [EC]LINKIS-5008 注册中心支持Nacos

● [GATEWAY]LINKIS-4992 Gateway支持访问控制配置

● [EC-REPL]LINKIS-4937 新增Repl解释器引擎插件,支持执行scala和Java代码

● [EC-NEBULA]LINKIS-4903 新增nebula引擎插件

● [EC-HBASE]LINKIS-4891 新增Hbase引擎插件

● [EC-SPARK]LINKIS-4850 SPARK 引擎插件支持On Yarn Cluster运行

● [EC-SPARK]LINKIS-4867 SPARK 引擎插件支持提交Jar任务on k8s

● [EC-SPARK]LINKIS-4906 SPARK引擎插件支持提交pyspark job on k8s

● [JDBC-DRIVER]LINKIS-4930 JDBCDriver支持引擎多版本

● [EC-FLINK]LINKIS-4753 Flink引擎插件 升级为1.16.2并兼容多版本

● [ENTRANCE]LINKIS-4282 实验性:Entrance服务支持HA

● [MONITOR]LINKIS-4905 实验性:新增Linkis Monitor服务

● [WEB]LINKIS-4940 实验性:管理台前端新架构升级

功能增强

● [ECM]LINKIS-4990 支持管理台下载EC的日志文件

● [EC]LINKIS-4982 EC指标丰富增加锁空闲等时间指标

● [WEB]LINKIS-4954 管理台增加用户配置管理页面

● [EC-SPARK]LINKIS-4961 Pyspark 新增更多的默认class import

● [EC-PYTHON]LINKIS-4835 Python引擎插件优化打印,错误信息打印优化

● [EC-SPARK]LINKIS-4896 SPARK Once 任务支持EngineConnRuntimeMode标签配置

● [LM]LINKIS-4914 LM资源排序选择规则优化为从按大到小

● [WEB]LINKIS-4935 管理台支持配置spark.conf参数,支持配置多个SPARK的原生参数

● [EC]LINKIS-4714 EC 支持指定Debug端口范围

● [EC-FLINK]LINKIS-5023 Flink引擎插件支持读取用户自定义的log4j配置

● [PES]LINKIS-4838 文件读取和写入接口支持更多参数和操作

● [LM]LINKIS-4850 LM支持管理K8s资源

● [PE]LINKIS-4847 优化模块数合并公共数据源模块

● [PE]LINKIS-4853 优化模块数合并公共客户端模块为pes-client模块

● [PE]LINKIS-4854 优化模块数合并公共服务的多个模块

● [PE]LINKIS-4934 数据源服务支持合并和单独部署

● [EC-FLINK]LINKIS-5025 Flink 引擎插件支持加载默认配置

● [EC-JDBC]LINKIS-5007 JDBC引擎插件支持多任务间的任务串联

修复功能

● [EC-Flink]LINKIS-5041 修复交互式Flink SQL打印状态获取错误日志问题

● [MDS]LINKIS-4998 ES数据源兼容6.X和7.X

● [EC-SPARK]LINKIS-4996 SPARK引擎插件 Scala任务支持将错误信息打印到任务日志中

● [ENTRANCE]LINKIS-4967 修复SQL解析comment中带有分号导致的解析错误

● [EC]LINKIS-4920 修复结果集null返回为字符串NULL问题

● [CLI]LINKIS-4919 Client修复并发的NPE问题

● [CG]LINKIS-4915 修复LM的ECM选择逻辑存在错误选择负载高的问题

● [LM]LINKIS-4860 修复linkis-httpclient post接口中文乱码问题

● [LM]LINKIS-4771 Linkis-Cli once job提交应该为Once模式

● [LM]LINKIS-4731 Kill EC脚本应该去跳过ECM的进程

详细指引

● 本版本总览:https://linkis.apache.org/zh-CN/download/release-notes-1.5.0

● 详细安装部署见指引:https://linkis.apache.org/zh-CN/docs/latest/deployment/deploy-quick

● 官方下载链接:https://linkis.apache.org/zh-CN/download/main

社区贡献者

Apache Linkis 1.5.0 的发布离不开 Linkis 社区的贡献者,感谢所有的社区贡献者,包括但不仅限于以下 Contributors(排名不分先后):

猜你喜欢

转载自www.oschina.net/news/274379