字节跳动 Spark 支持万卡模型推理实践
武汉源创会回归，4月20聊聊大模型” 摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的发展过程中 Kubernetes 由于其强大的生态构建能力和影响力，使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移，字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes 对作业的云原生化运行
探索技术的无限可能-云原生计算2023年度奖项
武汉源创会回归，4月20聊聊大模型” 在过去的一年里，字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励，也是鞭策。在未来技术的道路上，我们将继续与大家同行，共同探索技术的无限可能！再次感谢大家对云原生计算团队的关注～ Datafun 年度数据智能先锋奖 规模化的数据智能应用带来无数变量的冲突，不同的权衡取舍造就了不同的技术创新。有多少种准确率、实时性、多样性、安全性等因素的权衡，
从 0 到 1 搭建亿级商品 ES 搜索引擎
武汉源创会回归，4月20聊聊大模型” 建设并维护一个亿级的搜索引擎并非易事，也不存在一劳永逸的最优治理方法。本文是在实践中不断学习和总结的成果，介绍了如何搭建一个可支持从千万级到亿级商品量级的搜索系统，并实现查询总 QPS 从百级增长到千级，写入总 QPS 从百级增加到万级的过程。其中，ES 资源扩容是必不可少的，但除此之外，本文还将重点介绍一些扩容无法解决的 ES 性能问题。希望通过本文大家可以对 ES 的使用场景有更多数据和使用上的参考。由于篇幅有限，关于稳定性治理的部分将在下篇文章中进行
Elasticsearch 原理与在直播运营平台的实践
武汉源创会回归，4月20聊聊大模型” 来源团队｜字节跳动直播运营平台 在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大，本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。 ES 简介与应用场景 Elasticsearch 是一种分布式的、近实时的海量数据存储、检索与分析引擎。我们常说的“ELK”就是指 Elasticsearch、Logstash/Beats、Kibana 组成的具备收集、存储、检索和可视化的数
一起来探讨大模型时代下的 VectorDB 吧！
武汉源创会回归，4月20聊聊大模型” 在大模型席卷全球的行业背景下，基于检索结果增强的文本生成(RAG)备受关注。而作为 RAG 关键技术的向量数据库(VectorDB)正处在发展的十字路口。 为了探讨 VectorDB 的发展趋势、应用场景、上下游技术生态，OpenSearch 社区发起本次「大模型时代下的 VectorDB」Meetup。 在本次活动中，您将见到来自于头部企业的向量检索技术研发专家、OpenSearch 社区的活跃贡献者以及一线人工智能科学家，分享 VectorDB、大模型
字节跳动开源KubeAdmiral：基于 K8s 的新一代多集群编排调度引擎
武汉源创会回归，4月20聊聊大模型” 来源｜KubeAdmiral 开源社区 项目地址：https://github.com/kubewharf/kubeadmiral 自2014年开源以来，Kubernetes已然成为编排调度系统的事实标准，为开发者提供了极大的便利。随着越来越多企业拥抱云原生，全球云基础设施规模仍在加速增长，Kubernetes社区版本单集群5000节点的规模已经无法满足企业级大规模应用场景，同时，更多公司选择使用多云架构满足降本增效、异地容灾、环境隔离等需求，多集群管理的
日增320TB数据，从ClickHouse迁移至ByConity后，查询性能十分稳定！
武汉源创会回归，4月20聊聊大模型” 背景介绍 ByConity适合多种业务场景，在实时数据接入、大宽表聚合查询、海量数据下复杂分析计算、多表关联查询场景下有非常好的性能。我们用一个实际的业务场景来介绍下，这套行为分析系统是基于用户多维度行为分析平台，提供事件分析、留存分析、转化分析、用户分群、用户留存等多种分析方式和场景。本文将介绍下该用户多维度行为分析平台在使用原ClickHouse集群遇到的问题和挑战，以及通过迁移ByConity后如何解决这些问题并给业务带来的收益。 图1 行为分析系统
【有奖征文】ByConity云上快速部署体验有奖召集令
武汉源创会回归，4月20聊聊大模型” 引言： 6月初我们分享了ByConity在云上部署的方法：《ByConity如何在Kubernetes上无感扩缩容》，之后收到很多用户反馈和建议，例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化，提供了更加容易上手的一键部署方式，邀请大家一起参与体验“ByConity 快速部署有奖征集活动”，并为大家准备了大奖！ 多种云上快速部署 ByConity支持模块化和容器化的部署，可以直接部署在Kubernetes集群上，并
开源 Katalyst：字节跳动云原生成本优化实践
武汉源创会回归，4月20聊聊大模型” 本文根据 火山引擎高级研发工程师 邵伟在 QCon 全球软件开发大会上的演讲整理而成。 演讲人｜邵伟 演讲时间｜2023年5月 QCon广州 PPT | Katalyst：字节跳动云原生成本优化实践 GitHub：https://github.com/kubewharf/katalyst-core 1.背景 字节从 2016 开始着手服务云原生化改造，截至今日字节服务体系主要包含四类：传统微服务大多是基于 Golang 的 RPC Web 服务；推广搜服务
字节跳动十余演讲齐聚 CommunityOverCode Asia 2023 分享开源实践
武汉源创会回归，4月20聊聊大模型” 2023 年 8 月 18-20 日，北京丽亭华苑酒店 Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办，大会含 17 个论坛方向、上百个前沿议题。 字节跳动开源经历「使用开源、参与开源、主动开源」的不同阶段，对于开源的态度一直是开放的、鼓励的。在此次 CommunityOverCode Asia 峰会
今日推荐
周排行