OpenMLDB - 小记

在这里插入图片描述



本文内容来源于 OpenMLDB 官网,有删改


关于 OpenMLDB


OpenMLDB 是一个开源 机器学习 数据库。

目前主要面向人工智能应用,提供高效的线上线下一致性的特征平台,特别针对feature store需求做了深度优化,达到毫秒级的计算延迟。

此外,OpenMLDB 本身也包含了一个 高效且功能完备的时序数据库,使用于金融、IoT、数据标注等领域。


发展

OpenMLDB 起源于领先的人工智能平台提供商第四范式的商业软件。

其研发团队在 2021 年将商业产品中作为特征工程的核心组件进行了抽象、增强、以及社区友好化,将它们形成了一个系统的开源产品,以帮助更多的企业低成本实现人工智能转型。

在开源之前,OpenMLDB 已经作为第四范式的商业化组件之一在上百个场景中得到了部署和上线。


解决问题
传统特征开发存在:离线开发和线上服务 分离、成本投入高
线上线下不一致可能得原因是:

  • 工具能力不一致

  • 需求沟通的认知差

  • 两大 AI 应用:感知类、决策类

  • 硬实时计算真正满足实施决策需求 – 实时数据、实时计算

  • 流式计算为 Big Data 和 BI 设计


架构

在这里插入图片描述


上图展示了 OpenMLDB 的抽象架构,包含了四个重要的设计组件:

  • 统一的 SQL 编程语言
  • 具备毫秒级延迟的高性能实时 SQL 引擎
  • 基于 OpenMLDB Spark 发行版批处理 SQL 引擎
  • 串联实时和批处理 SQL 引擎,保证线上线下一致性的一致性执行计划生成器

伊织 2023-11-29(三)

猜你喜欢

转载自blog.csdn.net/lovechris00/article/details/134619697