更优性能与性价比，从自建 ELK 迁移到 SLS 开始
武汉源创会回归，4月20聊聊大模型” 作者：荆磊 背景 ELK (Elasticsearch、Logstash、Kibana) 是当下开源领域主流的日志解决方案，在可观测场景下有比较广泛的应用。 随着数字化进程加速，机器数据日志增加，自建 ELK 在面临大规模数据、查询性能等方面有较多问题和挑战。如何解决可观测数据的低成本、高可用是一个新的话题。 SLS 是由阿里云推出的云上可观测 Serverless 产品，在功能层面对标 ELK，并且提供了高可用、高性能、低成本的方案。现在 SLS 推出了
通义灵码×西安交通大学携手打造“云工开物-高校训练营”，解锁 AI 时代编程学习与实战
武汉源创会回归，4月20聊聊大模型” 作为大学生如何利用 AI “整活儿”？欢迎各位同学关注阿里云与西安交通大学计算机学院携手打造的“云工开物-高校训练营”，带你走近 AI 编程助手“通义灵码”。通义灵码是阿里推出的免费 AI 编程工具，拥有实时代码续写与优化、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力，助你解锁编程技能学习与实战新姿势。 4月15日 晚 18:00 至 20:00，西安交通大学 4 号巨构（泓理楼）2222 室， 我们将跟随阿里云
Higress 全新 Wasm 运行时，性能大幅提升
武汉源创会回归，4月20聊聊大模型” 本文作者： 澄潭，阿里云 API 网关软件工程师，Higress 开源项目主要贡献者 何良，Intel Web Platform Engineering 软件工程师，WAMR 开源项目主要贡献者 本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。通过切换到 WAMR 并开启 AOT 模式大幅提升了 Wasm 插件性能，从我们的测试中大部分插件平均有 50% 左
RocketMQ 事件驱动：云时代的事件驱动有啥不同？
武汉源创会回归，4月20聊聊大模型” 作者：林清山（隆基） 前言： 从初代开源消息队列崛起，到 PC 互联网、移动互联网爆发式发展，再到如今 IoT、云计算、云原生引领了新的技术趋势，消息中间件的发展已经走过了 30 多个年头。 目前，消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入，客户在使用消息技术的过程中往往同时涉及交叉场景，比如同时进行物联网消息、微服务消息的处理，同时进行应用集成、数据集成、实时分析等，企业需要为此维护多套消息系统，付出更多的资源成本和学
硬核！使用 eBPF kprobe 高性能解码 HTTP2 压缩头
武汉源创会回归，4月20聊聊大模型” HTTP2/gRPC 的协议头部使用 HPACK 算法压缩，使得难以从内核系统调用（eBPF kprobe）中获取真实头部字段，因此现有的解决方案通常依赖 eBPF uprobe。本文介绍 DeepFlow 6.4 中基于 eBPF kprobe 的 HTTP2 压缩头高性能解码能力。 01 关于 HPACK HTTP2 协议头使用了 HPACK 算法进行压缩，以降低头部字段的带宽消耗。如下图所示，HTTP2 的通信双方会向对方共享自己的压缩字典，该字典由
全栈！使用 eBPF 轻松解锁 HTTPS 分布式追踪能力
武汉源创会回归，4月20聊聊大模型” DeepFlow 6.4 支持 TLS 握手消息解析以后，HTTPS 的全栈分布式追踪链路更精细了！ 01 关于 TLS 握手 这里我们引用一张来自 bytebytego.com 的图，来展示 HTTPS 通信全过程： 从上图可以看到，为了完成一次 HTTPS 请求，客户端、服务端需要以此完成如下交互： TCP 三次握手：SYN、SYN-ACK、ACK TLS 握手和秘钥协商：三个到四个 TLS 协商消息，包括 Client Hello、Server He
开箱即用的 eBPF 可观测性：中国移动磐基 PaaS 平台案例
武汉源创会回归，4月20聊聊大模型” 在上一篇文章中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践中分享了中国移动磐基 PaaS 平台如何将 eBPF 数据与现有的可观测数据整合，提供了开箱即用的应用可观测性，全栈无盲点的调用链追踪等能力。本篇文章将主要介绍开箱即用的可观测性能力如何快速实现故障定界、高效发现性能隐患。 01 背景介绍 磐基 PaaS 平台的可观测性能力已经在多个省份推广试运行了，下面将详细讲述如何利用开箱即用的能力，发现自身异常及潜在风险的。磐基 PaaS 平台共分
腾讯游戏基于 DeepFlow 的零侵扰可观测性进阶实战
武汉源创会回归，4月20聊聊大模型” 作者：封亚飞／SRE工程师，来自腾讯游戏发行线技术运营团队，陈自欣／蓝鲸监控产品运营 腾讯不仅致力于开发广受欢迎的自研游戏，还与世界各地的知名游戏开发商合作，负责将这些游戏推向市场，让更多玩家享受游戏的乐趣。这些合作伙伴来自全球各地，使用多种多样的技术栈，这为游戏的稳定性维护提出了复杂的挑战。本文旨在探讨腾讯互娱如何利用 DeepFlow 的 eBPF 技术实现无侵入式的可观测性，这一策略不仅确保了游戏渐进式发布过程中的流畅用户体验，还加快了问题的诊断与解
字节跳动 Spark 支持万卡模型推理实践
武汉源创会回归，4月20聊聊大模型” 摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的发展过程中 Kubernetes 由于其强大的生态构建能力和影响力，使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移，字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes 对作业的云原生化运行
探索技术的无限可能-云原生计算2023年度奖项
武汉源创会回归，4月20聊聊大模型” 在过去的一年里，字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励，也是鞭策。在未来技术的道路上，我们将继续与大家同行，共同探索技术的无限可能！再次感谢大家对云原生计算团队的关注～ Datafun 年度数据智能先锋奖 规模化的数据智能应用带来无数变量的冲突，不同的权衡取舍造就了不同的技术创新。有多少种准确率、实时性、多样性、安全性等因素的权衡，
从 0 到 1 搭建亿级商品 ES 搜索引擎
武汉源创会回归，4月20聊聊大模型” 建设并维护一个亿级的搜索引擎并非易事，也不存在一劳永逸的最优治理方法。本文是在实践中不断学习和总结的成果，介绍了如何搭建一个可支持从千万级到亿级商品量级的搜索系统，并实现查询总 QPS 从百级增长到千级，写入总 QPS 从百级增加到万级的过程。其中，ES 资源扩容是必不可少的，但除此之外，本文还将重点介绍一些扩容无法解决的 ES 性能问题。希望通过本文大家可以对 ES 的使用场景有更多数据和使用上的参考。由于篇幅有限，关于稳定性治理的部分将在下篇文章中进行
Elasticsearch 原理与在直播运营平台的实践
武汉源创会回归，4月20聊聊大模型” 来源团队｜字节跳动直播运营平台 在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大，本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。 ES 简介与应用场景 Elasticsearch 是一种分布式的、近实时的海量数据存储、检索与分析引擎。我们常说的“ELK”就是指 Elasticsearch、Logstash/Beats、Kibana 组成的具备收集、存储、检索和可视化的数
一起来探讨大模型时代下的 VectorDB 吧！
武汉源创会回归，4月20聊聊大模型” 在大模型席卷全球的行业背景下，基于检索结果增强的文本生成(RAG)备受关注。而作为 RAG 关键技术的向量数据库(VectorDB)正处在发展的十字路口。 为了探讨 VectorDB 的发展趋势、应用场景、上下游技术生态，OpenSearch 社区发起本次「大模型时代下的 VectorDB」Meetup。 在本次活动中，您将见到来自于头部企业的向量检索技术研发专家、OpenSearch 社区的活跃贡献者以及一线人工智能科学家，分享 VectorDB、大模型
字节跳动开源KubeAdmiral：基于 K8s 的新一代多集群编排调度引擎
武汉源创会回归，4月20聊聊大模型” 来源｜KubeAdmiral 开源社区 项目地址：https://github.com/kubewharf/kubeadmiral 自2014年开源以来，Kubernetes已然成为编排调度系统的事实标准，为开发者提供了极大的便利。随着越来越多企业拥抱云原生，全球云基础设施规模仍在加速增长，Kubernetes社区版本单集群5000节点的规模已经无法满足企业级大规模应用场景，同时，更多公司选择使用多云架构满足降本增效、异地容灾、环境隔离等需求，多集群管理的
日增320TB数据，从ClickHouse迁移至ByConity后，查询性能十分稳定！
武汉源创会回归，4月20聊聊大模型” 背景介绍 ByConity适合多种业务场景，在实时数据接入、大宽表聚合查询、海量数据下复杂分析计算、多表关联查询场景下有非常好的性能。我们用一个实际的业务场景来介绍下，这套行为分析系统是基于用户多维度行为分析平台，提供事件分析、留存分析、转化分析、用户分群、用户留存等多种分析方式和场景。本文将介绍下该用户多维度行为分析平台在使用原ClickHouse集群遇到的问题和挑战，以及通过迁移ByConity后如何解决这些问题并给业务带来的收益。 图1 行为分析系统
【有奖征文】ByConity云上快速部署体验有奖召集令
武汉源创会回归，4月20聊聊大模型” 引言： 6月初我们分享了ByConity在云上部署的方法：《ByConity如何在Kubernetes上无感扩缩容》，之后收到很多用户反馈和建议，例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化，提供了更加容易上手的一键部署方式，邀请大家一起参与体验“ByConity 快速部署有奖征集活动”，并为大家准备了大奖！ 多种云上快速部署 ByConity支持模块化和容器化的部署，可以直接部署在Kubernetes集群上，并
开源 Katalyst：字节跳动云原生成本优化实践
武汉源创会回归，4月20聊聊大模型” 本文根据 火山引擎高级研发工程师 邵伟在 QCon 全球软件开发大会上的演讲整理而成。 演讲人｜邵伟 演讲时间｜2023年5月 QCon广州 PPT | Katalyst：字节跳动云原生成本优化实践 GitHub：https://github.com/kubewharf/katalyst-core 1.背景 字节从 2016 开始着手服务云原生化改造，截至今日字节服务体系主要包含四类：传统微服务大多是基于 Golang 的 RPC Web 服务；推广搜服务
字节跳动十余演讲齐聚 CommunityOverCode Asia 2023 分享开源实践
武汉源创会回归，4月20聊聊大模型” 2023 年 8 月 18-20 日，北京丽亭华苑酒店 Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办，大会含 17 个论坛方向、上百个前沿议题。 字节跳动开源经历「使用开源、参与开源、主动开源」的不同阶段，对于开源的态度一直是开放的、鼓励的。在此次 CommunityOverCode Asia 峰会
火山引擎开源通用多媒体处理框架 BMF
武汉源创会回归，4月20聊聊大模型” 文章来源｜BMF 开源社区 GitHub｜github.com/BabitMF/bmf 开源背景 随着直播短视频、5G 的快速发展，越来越多的数据以视频的形式被记录和传播。这使得视频处理技术的研究和应用变得尤为重要，它们是用于实现各种视频应用程序的通用工具、SDK 和解决方案。 视频时代，多媒体开发面临着多元化的挑战，包括， 复杂场景：处理链路复杂、算法与工程相互依赖、业务场景多样。 扩展与协同：对于一些算法开发者，许多时候会采用Python等高级语言，而
Katalyst：字节跳动云原生成本优化实践
武汉源创会回归，4月20聊聊大模型” 本文根据 火山引擎高级研发工程师 邵伟在 QCon 全球软件开发大会上的演讲整理而成。 演讲人｜邵伟 演讲时间｜2023年5月 QCon广州 PPT | Katalyst：字节跳动云原生成本优化实践 GitHub：https://github.com/kubewharf/katalyst-core 1.背景 字节从 2016 开始着手服务云原生化改造，截至今日字节服务体系主要包含四类：传统微服务大多是基于 Golang 的 RPC Web 服务；推广搜服务
今日推荐
周排行