限时领票｜走进 2023 · 云栖大会，看大咖对话开源
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 2023 云栖大会来啦，大数据与数据分析、开源技术等众多主题活动与你同聚，门票免费领取中，数量有限，先到先得！ 时间：11 月 1 日 地址：杭州·云栖小镇 D4-1 点击领取门票 嘉宾及话题介绍 话题一｜阿里云开源大数据平台 3.0 技术解读 演讲嘉宾：王峰 阿里云研究员，开源大数据平台负责人 ■ 话题简介 自 2009 年起，经历了大数据上云的 1.0 时代，以数据湖和实时化为代表的 2.0 时代，阿里云开源大数据平台迈向
2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 传智教育技术专家将在云栖大会「动手实践」环节带领开发者基于阿里云构建博学谷平台实时湖仓。本实践介绍如何基于阿里云 Flink、EMR-StarRocks、ECS 、RDS Mysql 以及 DataV 等组件快速部署实时湖仓 demo，为实时需求场景提供简单易用的解决方案。 时间：2023-11-02 11:00～12:00 地址：杭州·云栖小镇 D4-2A 点击领取门票 点击领取门票 更多内容 活动推荐 阿里云基于 Apac
官宣｜Apache Flink 1.18 发布公告
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 Apache Flink PMC 已正式发布 Apache Flink 1.18.0 版本。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 174 人为此版本做出了贡献，完成了 18 个 FLIPs 和 700 多个问题。感谢各位贡献者的支持！ 迈向 Streaming Lakehouse Flink SQL 提升 Flink SQL Gateway 的 JDBC Driver Flink 1.18 版本提供
MegEngine 使用小技巧：Profiler使用手册
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 0.写在前面 “xx，R 那边反应多机训练速度慢，你看一下什么情况” “xxx，为什么 MGE 更新之后，xxx 网络训练变慢了，你看一下” 这是组内日常对话 然后有人日常背锅 组员的状态是：提性能，提性能，还是 TMD 提性能 据不完全统计，有 80% 的性能问题其实是因为训练代码写的不够好，让 MGE 有力使不出来 包括但不限于以下情况 1）没开 fast_run 2）频繁使用 numpy 进行同步 3）没有用 make_
直播预约丨《实时湖仓实践五讲》第二讲：实时湖仓功能架构设计与落地实战
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。 《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。 《实时湖仓实践五讲》第二讲——《实时湖仓功能架构设计与落地实战》将于1
巧用指标平台DataIndex，五步法轻松实现指标管理
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 开发部门在做指标加工的全流程中，是否经常出现如下问题： · 业务部门看指标数据的时候，看到两个名称相似的指标，不清楚两个指标的差异性，来咨询开发部门指标计算口径，开发部门配合业务部门翻找代码，找出指标口径差异性，影响工作效率 · 业务部门看指标数据的时候，总会出现不同页面的同一指标统计的结果不一致的问题，业务部门不知道该以哪个数据为准，就会给开发部门提线上问题；开发部门在收到线上问题后，总会花费很多时间去定位任务、翻看代码差异
从理论到实践，实时湖仓功能架构设计与落地实战
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？） 在这篇文章中，我们将详细介绍在数栈实时开发平台内，实时湖仓的功能架构设计和具体实操案例。 功能架构介绍 实时湖仓并不是一个独立的产品模块，它的完整实践是基于数栈实时开发平台进行的。为了更直观地介绍我们建设实时湖仓的完整思路，我们单独拆出了架构图供大家参考。 湖仓
直播预约丨《实时湖仓实践五讲》第三讲：实时湖仓在袋鼠云的落地实践之路
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。 《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。 《实时湖仓实践五讲》第三讲——《实时湖仓在袋鼠云的落地实践之路》为大家
灵活、可用、高扩展，EasyMR 带来全新 Yarn 的队列管理功能及可视化配置
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的资源调度器，主要用于资源管理和作业调度。YARN 自身具备队列管理功能，通过对 YARN 资源队列进行配置和管理，实现集群资源的分配，以满足不同应用和用户的需求。YARN 的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 在大数据环境下，企业通常会有多个应用程序同时运行，这些应用程序可能具有不同的资源需求和
一个平台搞定数据治理，让数据资产发挥价值
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 根据北京研精毕智信息咨询发布的调查报告，2018-2021年，全球数据存储量由30ZB上升至55ZB左右，年平均增长率约为27.8%。到2022年，数据总存储量进一步增加至65ZB以上，较2021年同期新增了约10ZB，同比增长18.2%。各市场主体对数据的重视程度不断提升，数据应用逐步由批量处理向规模化存储的方向发展。 随着各行各业数字化转型的深入，数据体量爆炸式增长。如何控制数据生产成本、发现有价值的数据，提高数据ROI，
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓 数栈作为一个数据开发平台，在未引入实时湖仓之前提供的是基于 Lambda 架构的开发模式，分了实时和离线两条链路，这种开发模式带来的问题在于： · 复杂性高，需要维护流批双链路的不
推出 RustRover – JetBrains 出品的独立 Rust IDE
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 “什么时候会有 Rust IDE？” 这是用户经常提出的问题，现在，我们特别宣布这一天已经到来：热烈欢迎我们的独立 Rust IDE – RustRover。 正如许多人所知，多年来我们一直致力于以插件形式在 IntelliJ IDEA 和 CLion 中支持 Rust 功能。然而，我们一次又一次收到社区对专门针对 Rust 及其生态系统的 IDE 的请求，新 IDE 的功能也要与现有 JetBrains IDE 相当。 今天
Compose Multiplatform 1.5.0 发布
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 Compose Multiplatform 1.5.0 现已正式推出。它采用适用于 Kotlin 的 Jetpack Compose 声明式 UI 框架，并将其从 Android 扩展到桌面端、iOS 和 Web。桌面版本已经稳定，iOS 处于 Alpha 阶段，Web 支持仍为实验性。有关完整说明，请参阅 Compose Multiplatform 网站。 此版本的一些亮点包括： Dialog、Popup 和 WindowI
数据处理新王者？Polars 与 Pandas 差异对比
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 如果您有关注过去一年中 Python DataFrame 的进展，那么您一定听说过 Polars，专为处理大型数据集而设计的强大 DataFrame 库。 与 Spark、Dask 和 Ray 等处理大型数据集的其他库有所不同，Polars 在单台机器上使用，也因此引起许多与 pandas 的比较。事实上，Polars 在许多重要方面都与 pandas 存在差异，包括数据处理方式以及最佳应用。下文将探讨这两种 DataFram
直播预告 | JetBrains GameDev Day 2023
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 欢迎参加将于 2023 年 10 月 13 日（星期五）举行的 JetBrains GameDev Day 2023。每年一次，我们邀请社区演讲者谈论各种话题。 今年，我们已邀请来自不同领域的 11 位专家发表演讲、主持讨论，以及分享制作最佳游戏的专业技巧。我们将探讨游戏测试、CI/CD、Unity 的 DOTS 以及 Apple Vision Pro 开发等方面。 这次，我们开启混合模式。参与整个活动不仅可以通过线上观看直播
实用技巧 | 使用 CLion 解决 C++ 的 7 大痛点
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 在 C++ Foundation 开展的“2023 年度 C++ 开发者调查”中，社区确定了使用 C++ 时的一些主要痛点（请参阅调查摘要的第 11 页）。 痛点 如本文所述，CLion 可以通过多种方式帮助 C++ 开发者，就让我们一一道来： 管理第三方库 缩短构建时间 搭建 CI 管道 管理 CMake 项目 实时检查代码中的线程、内存和类型安全问题 从头开始搭建开发环境 将代码现代化 管理第三方库 使用 C++ 时最大的
周五直播：JetBrains GameDev Day 2023
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 欢迎参加将于 2023 年 10 月 13 日（星期五）举行的 JetBrains GameDev Day 2023。每年一次，我们邀请社区演讲者谈论各种话题。 今年，我们已邀请来自不同领域的 11 位专家发表演讲、主持讨论，以及分享制作最佳游戏的专业技巧。我们将探讨游戏测试、CI/CD、Unity 的 DOTS 以及 Apple Vision Pro 开发等方面。 这次，我们开启混合模式。参与整个活动不仅可以通过线上观看直播
TeamCity On-Premises 安全问题，请立即更新到 2023.05.4
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 概要 TeamCity On-Premises 中最近发现了一个严重的安全问题。(最初由 Sonar 团队发现并报告给我们）。 此严重安全漏洞已获得 CVE 标识符 CVE-2023-42793，弱点为 CWE-288。 此漏洞可能使未经身份验证的攻击者能够通过 HTTP(S) 访问 TeamCity 服务器，执行远程代码执行 (RCE) 攻击并获得 TeamCity 服务器的管理控制权。 此漏洞已在 2023.05.4 版本
直播预告 | Kotlin 开发者的首「锈」：Rust 到底香不香？
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 跟其他编程语言相比，诞生于 2010 年的 Rust 是相对年轻的语言，但凭借其出色的性能和内存安全性赢得了越来越多开发者的青睐，甚至连续多年被 Stack Overflow 票选为最多人喜爱的语言。相信大家也听过几个用 Rust 重新打造轮子的故事，可见其成长潜力。 本次活动邀请到霍丙乾老师跟大家分享他在制作 Bilibili 视频时，如何使用 Rust 开发一款简单的文字封面生成工具。内容将从使用 image 和 imag
YouTrack 2023.2：知识库协作现已得到改进
从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧 YouTrack 2023.2 版本带来了有助于知识库文章协作的强大更新，在帮助台项目中改善了支持团队和客户的体验，增加了土耳其语支持，并为处理任务的每个人增强了 YouTrack 性能。 对于内部团队和外部读者来说，YouTrack 的知识库现在协作性更高，信息更丰富。共同处理文章时，团队现在可以直接在文章中添加上下文、提出问题，以及发起和解决讨论。文章可以导出到良好组织的 PDF 文档，您可以使用内置统计数据跟踪知识库文章
今日推荐
周排行