大数据小白的测试成长之路
开源中国 APP，启动！这是你从没见过的全新版本” 引言 22年校招入职京东后，我一直在数据中台测试部从事测试开发的工作。毕业后，写的最多的文档是测试计划和测试报告，鲜有机会就自己的成长码字进行回顾和总结。借“up技术人”栏目，也终于是在工作之余回头望，对自己这近两年时光进行一个小总结。 本文是一个大数据测试小白初入职场后的成长总结，有新人入职的迷茫，也有点滴积累后的经验之谈。希望此文能够对正在迷茫的新人朋友以及对大数据测试有兴趣的同学有些帮助。 1.初入职场：站在迷茫的十字路口 我在本科和硕
系统整容纪：责任链设计模式的应用实战（爆灯了，研发工期由45天降为1天）
开源中国 APP，启动！这是你从没见过的全新版本” 本文通过介绍使用责任链设计模式的背景和经历，来使得读者加深对于此设计模式的印象，甚至受到一定的启发来对自己当下所参与、所负责的项目进行“整容”，从而提升系统的“美感”。分享工作中的点点滴滴。 一、背景 在下所负责的系统中有这么一个模块，分区模块，直接看这个词的话相信很多人都会疑惑甚至是误解，其实其真正的含义就是“路由”，接下来我简单描述一下何谓“路由”。 相信大家都有过网上购物的经验，每当我们下完订单后，我们都能随时随地的查看订单的物流跟踪状
记一次5分钟大模型生成物流网关多域名配置工具
开源中国 APP，启动！这是你从没见过的全新版本” 工具解决的问题 小哥工作台配置物流网关配置一个接口，需要三个服务域名（自营、3pl、港澳），三个环境（测试、UAT、正式），3*3相当于需要配置9次，其中除了别名，其他都配置基本相同。 通过大模型生成一个工具录入一次接口，生成9个配置文件。 步骤一：定义接口配置标准格式 步骤二： 生成javascript核心代码。 提示词： 生成js代码实现替换api.domain、api.routingId,api.name 、api.u
基于学习的参数化查询优化方法
开源中国 APP，启动！这是你从没见过的全新版本” 一、背景介绍 参数化查询是指具有相同模板，且只有谓词绑定参数值不同的一类查询，它们被广泛应用在现代数据库应用程序中。它们存在反复执行动作，这为其性能优化提供了契机。 然而，当前许多商业数据库处理参数化查询的方法仅仅只优化查询中的第一条查询实例（或用户指定的实例），缓存其最佳计划并为后续的查询实例重用。该方法虽然优化时间至最小化，但由于不同查询实例的最佳计划不同，缓存计划的执行可能是任意次优的，这在实际应用场景中并不适用。 大多数传统优化方法需
Kepler 参数化查询优化方法
开源中国 APP，启动！这是你从没见过的全新版本” 写在前面 本文主要介绍了发布于 2023 年 SIGMOD 的论文《Kepler: Robust Learning for Faster Parametric Query Optimization》，该文章针对参数化查询，将参数化查询优化与查询优化结合，旨在减少查询规划时间的同时提高查询性能。 为此，作者提出了一种端到端的、基于深度学习的参数化查询优化方法，名为 Kepler (K-plan Evolution for Parametric
KaiwuDB 拿下“物联之星”双项殊荣
开源中国 APP，启动！这是你从没见过的全新版本” 2月27日，“物联之星”2023 中国物联网行业年度榜单正式发布。KaiwuDB 拿下“2023 年度中国物联网行业创新产品”，KaiwuDB CTO 魏可伟再获“2023 年度中国物联网行业卓越人物”称号。 作为国内物联网行业最具影响力的评选活动之一，本届“物联之星”吸引到近 500 家企业携优秀成绩、创新产品、标杆项目竞相角逐。KaiwuDB 凭借在技术创新、场景渗透、产业服务方面的突出贡献成功入选两大重要榜单。 KaiwuDB 作为一款
基于 Ractor 模型优化事务复制回放性能
开源中国 APP，启动！这是你从没见过的全新版本” 一、背景 当备库回放事务时，多个互相不依赖的事务可以并发回放，本方法主要用于解决多个可并发回放的事务的并发回放问题。通过并发的多个扫描线程实现并发对事物回放队列进行扫描，生成多个可以并发回放的事物，并且通知回放线程进行并发的回放。 二、数据结构设计 备库的事物数据按照事物 ID 分段存储到备库的事物数据队列中，参考如下图 1；根据事物 ID 为 UUID 完全无序的特性，可以对 UUID 进行事物 ID 分段并发扫描。将事物 ID UUID
KaiwuDB 分布式系统 Range Split & Merge 原理详解
开源中国 APP，启动！这是你从没见过的全新版本” 背景介绍 Range（分区）是一种数据库管理组织数据的技术。在分布式系统中，我们可将数据按照一定规则分成多个 Range 进行组织，通过分裂（Split）和合并（Merge）来实现动态管理，用以优化查询性能，并帮助提升系统的扩展性、可用性及负载均衡。本期直播的主要内容即为：KaiwuDB 分布式系统里 Range 的分裂（Split) 与合并 (Merge)。 以下为部分内容节选，完整内容可点击查看完整版内容>>完整版视频回放 KaiwuDB
数据库系统访问控制面面观
开源中国 APP，启动！这是你从没见过的全新版本” 一、背景介绍 信息系统安全是保护信息系统中各类型数据资源免受未经授权的访问（包括查看、新增、修改、删除），确保数据完整性、保密性和可用性。在当下万物互联的发展背景下，信息安全尤其重要。访问控制作为信息安全的重要组成部分，既可对用户访问信息系统进行身份鉴别，又可细粒度控制用户对信息的访问权限。数据库作为信息系统的基础软件，承担着数据存储的责任，需要保证信息的完整性、保密性和可用性，就需要进行严格的访问控制。 以下为部分内容节选，点击视频查看完整
KaiwuDB 成功入选《2023 ToB 行业影响力价值榜 · 创新力产品榜》
开源中国 APP，启动！这是你从没见过的全新版本” 3月22日，国内知名企服新媒体「ToB 行业头条」正式发布《2023 中国 ToB 行业影响力价值榜·创新力产品榜》。KaiwuDB 成功入选榜单，获评“年度创新力产品”。 该榜单由甲方企业 CIO 高管、行业技术专家、50+投资机构组成的评委组，从产品质量、技术应用、研发投入、用户规模、行业落地情况等诸多维度对国内百余项 ToB 产品进行综合评判，此次入选也是对 KaiwuDB 在产品建设、科技创新以及企业服务能力的认可与信任。 Kaiwu
KaiwuDB 乱序数据处理功能解读
开源中国 APP，启动！这是你从没见过的全新版本” 01 背景一览 在时序数据写入数据库的场景中，由于存在网络延迟等问题，可能会出现需要写入数据的时间戳小于已写入数据的最大时间戳的情况，这类数据统称为乱序数据。乱序数据的产生几乎是不可避免的，同时，乱序数据的写入会影响所有数据的排序和查询，因此，我们需要在支持乱序数据写入的基础上，也能良好地支撑乱序数据高效查询。 02 流程概述 在处理乱序数据时，指定时间窗口内（比如 10 分钟或 1 小时）的乱序数据会根据去重策略处理之后存储下来，时间窗口之
KaiwuDB 数据库故障诊断工具详解
开源中国 APP，启动！这是你从没见过的全新版本” 数字化时代，数据是企业最宝贵的资产之一。然而，随着数据量的增长，数据库管理的复杂性也在不断上升。数据库故障可能导致业务中断，给公司带来巨大的财务和声誉损失。在本篇博客中，我们将分享 KaiwuDB 是如何设计故障诊断工具以及具体的示例演示 01 设计思路 遵循核心原则 用户友好：即使是具有不同技能水平的用户也能轻松使用我们的工具； 全面监控：全面监控数据库系统的各个方面，包括性能指标、系统资源和查询效率； 智能诊断：利用先进的算法来识别问题的
KaiwuDB CTO 魏可伟：AIoT，用行业定义数据库
开源中国 APP，启动！这是你从没见过的全新版本” 4月12日，由中国 DBA 联盟（ACDU）与墨天轮社区联合主办的第十三届数据技术嘉年华（DTC 2024）于北京盛大召开。KaiwuDB CTO 魏可伟受邀发表《智创当下，KaiwuDB 从多模到 AI 的探索实践》主题演讲，向与会者分享 KaiwuDB 面向 AIoT 产业领域的现代数据库探索。 近年来，我国物联网（IoT）规模持续增长，带动各领域技术创新向行业应用侧纵深化推进。我国传统工业、能源、交通业的数字化体系相较于金融业启动时间晚
KaiwuDB 受邀亮相 IOTE2024 演讲，顺便领了个奖
开源中国 APP，启动！这是你从没见过的全新版本” 4月24日，IOTE2024 第二十一届国际物联网展在上海世博中心拉开帷幕，本届大会以“AIoT+X 释放数字经济潜力”为主题，汇集 350 余家参展企业到场展示先进的物联网技术、产品及场景化解决方案。 KaiwuDB 受邀亮相大会并发表主题演讲，向全球 5 万余名与会者介绍浪潮研发的新一代工业物联数据基座 — 分布式多模数据库 KaiwuDB 及物联网场景解决方案，旨在将先进数据技术引入实体经济领域，促进数字化转型和智能化升级。 “在工业物
1 名工程师轻松管理 20 个工作流，创业企业用 Serverless 让数据处理流程提效
开源中国 APP，启动！这是你从没见过的全新版本” 作者：岳洋、陈德全、刘静娜 北京语势科技有限公司成立于 2023 年 6 月，语势科技定位为“智能投资时代的主题入口”，在资管行业从以机构为核心转向以用户为核心的变革时代，通过打造主题投资引擎，赋能普惠投资一体化，打造以投资者和资管机构为主题和核心、自然语言交互形式为入口的“新桥梁”。 语势科技日均处理万条金融资讯，通过收集信息、发掘新兴趋势、判断趋势拐点，形成了包含 10+ 个超级主题、40+ 个投资主题、200+ 子主题的主题投资体系；现
无需重新学习，使用 Kibana 查询/可视化 SLS 数据
开源中国 APP，启动！这是你从没见过的全新版本” 作者：荆磊 场景 现在通过 SLS 的 ES 兼容能力，可以很方便地实现用 Kibana 来查询和可视化 SLS 的数据。对于从 ES 迁移到 SLS 的用户可以继续保留原来的 Kibana 使用习惯。下面来演示如何通过 Kibana 来访问 SLS。 使用方法 部署架构 这里蓝色部分是需要客户端部署的组件。 Kibana 就是用来可视化的 Proxy 用来区分 Kibana 的请求，将 SLS 相关的转发到 SLS 的 ES 兼容接口 El
Spring AI 抢先体验，5 分钟玩转 Java AI 应用开发
开源中国 APP，启动！这是你从没见过的全新版本” 作者：刘军 Spring AI 是 Spring 官方社区项目，旨在简化 Java AI 应用程序开发，让 Java 开发者像使用 Spring 开发普通应用一样开发 AI 应用。 Spring Cloud Alibaba AI 以 Spring AI 为基础，并在此基础上提供阿里云通义系列大模型全面适配，让用户在 5 分钟内开发基于通义大模型的 Java AI 应用。 Spring AI x 通义千问 Demo 已上线至 sca.aliyu
如何用更小的开源模型击败专有 LLM
开源中国 APP，启动！这是你从没见过的全新版本” 围绕开源模型构建您的 AI 应用程序可以使它们变得更好、更便宜、更快。 译自How to Beat Proprietary LLMs With Smaller Open Source Models，作者 Aidan Cooper。 简介 在设计使用文本生成模型的系统时，许多人首先会转向专有服务，例如 OpenAI 的 GPT-4 或 Google 的 Gemini。毕竟，这些是目前最大、最好的模型，那么为什么还要使用其他模型呢？最终，应用程序
提升AI代码助手的5个策略
开源中国 APP，启动！这是你从没见过的全新版本” 开发者倡导者 Rizel Scarlett 在本周的 InfoBip Shift 上分享了如何让 AI 编码助手更有效、更高效。 译自5 Strategies for Better Results from an AI Code Assistant，作者 Loraine Lawson。 与所有 GenAI 一样，Copilot 也是非确定性的；这意味着它们的结果会有所不同。但根据Rizel Scarlett的说法，在使用 AI 代码助手时，开
今日推荐
周排行