过去一年，围绕开放生态建设、低价心智等主要方向，京东零售技术团队持续攻坚。从百亿补贴、调整流量分配机制为用户提供低价品质好货，到简化商家进驻流程、优化商家体验，带动商家数量增长和平台生态活跃，再到将大模型结合到内部大量业务场景，探索效率提升……快速响应、助力业务的同时，京东零售技术团队继续夯实增强自身能力、探索创新。
我们选取了11项有代表性的技术成果，与大家分享。
京东长期致力于通过前沿的数智化技术和算法，提高供应链效率。2023年，智能供应链团队提出并应用了端到端库存管理技术和可解释AI技术，显著提升了补货决策的精准度，实现更快的库存周转和更高效的供应链决策、协同。前者入围2023年管理科学界最高奖项弗兰兹厄德曼奖决赛，后者入围2024年Gartner Power of the Profession供应链流程与技术创新奖决赛，也是该奖项唯一亚洲入围者。
传统的库存补货方法多采用先预测再优化的两步式方案，导致预测和优化阶段割裂。智能供应链团队提出端到端库存管理技术，基于深度神经网络模型，直接根据原始的历史数据输出最优补货建议，将预测和优化问题一步式解决，通过缩短决策链降低了累积误差，提升决策的准确度。
另一项痛点问题是需求预测和补货策略的解释性不足，导致一线采销人员和供应商对补货建议的实际采纳率很低。为此智能供应链团队首提可解释AI技术，实现预测流程白盒化，利用残差网络等前沿深度网络技术，对模型输出的建议加以清晰明确的归因和阐释，构建可解释性、自适应、高扩展性的预测模型框架，从而使下游业务人员可以清晰理解预测流程和结果。
以这两项技术为基础的自动补货系统，已实现超过85%的自动化率。目前京东在自营商品SKU数量超过1000万的基础上，实现采购自动化率超过85%，平均现货率超过95%，库存周转天数降至近30天，在全球范围达到领先水平。
图2 京东入围Gartner 2024年流程与技术创新奖
后行为序列时代的人货匹配技术
更智能地理解用户和商品
当前，商家经营和营销进入存量博弈、精耕细作阶段，对广告营销技术也提出了通过技术创新提高人货匹配的效率的核心要求。京东零售广告研发部坚持创新，取得了多项突破性技术进展，共发表顶会论文17篇，累计提交专利申请一百多篇。
（1）将隐私合规保护下的预训练技术应用于用户和商品理解算法创新，在合规前提下，借助多方安全计算、群体建模技术来解决数据匮乏问题，提出序列摘要技术，成功将精排模型的序列交互建模部分前置到排序模型之前，将行为序列的长度提升到万级别，提升了对用户兴趣的刻画能力。以行业知识+预训练的方式引入非ID类电商特征，在避免数据组合爆炸的同时解决稀疏表征问题提升泛化能力，是目前电商领域最大的预训练模型，并提出生成式对比学习序列预训练方案，提升新品刻画力。建设排序大模型（参数量达数百亿）提升模型容量，成为京东零售最大在线排序实时模型，并提出了基于数据先验的增量学习框架，实现了分钟级更新感知，有效提升在线学习模型对用户行为变迁的建模能力。
（2）巨幅增长的数据和愈发复杂的算法对算力提出了更高要求，广告技术团队将业务、算法、工程进行了co-design推进建设新一代算力体系。主要体现在：异构算力的应用探索与实践、弹性动态算力分配能力、新一代模型算力系统。CPU+GPU异构硬件技术上，突破业界GPU调度难题，实现了多流多组范式，根据算力负载实现多流多组的动态分配，GPU硬件利用率达到理论上限，比TensorFlow调度提升2倍+吞吐能力。
自研融合ReAct/SFT/RAG的大模型基础应用框架
高效完成微调、部署和应用
2023年，大语言模型绝对是整个技术圈最被热议的话题之一，关键方向之一是如何将大型语言模型的强大能力融入实际业务、产生业务价值。京东零售九数算法中台推出了一整套大语言模型应用解决方案，一种融合ReAct框架、SFT（指令微调）与RAG（检索增强生成）技术的应用框架，支持大语言模型学习领域知识，并
提升自主决策能力及信息处理的精确度，帮助业务人员高效完成大语言模型的微调、部署和应用，快速落地业务场景。
通过自研大语言模型高效微调（SFT）框架，京东内部可以支持大语言模型高效学习领域知识，并通过编译优化、算子优化、网络和IO优化，提升训练性能40%+，并且支持70B+超大规模模型微调。在信息检索方面，建设了Embedding无损高性能信息压缩能力，打通大模型应用开发框架和向量数据库Vearch，实现信息检索效率大幅提升。在复杂业务模型自主规划层面，基于ReAct范式构建Agent LLM，帮助大语言模型理解上下文，精确把握用户意图，并在复杂情况下做出决策、执行任务和使用工具。
目前，已在包括知识问答、用户增长、舆情风险挖掘、数据分析等多个业务场景应用，加速了业务智能化升级。
打造前沿的搜索推荐领域技术，实现用户与商家之间的精准高效连接，一直是京东零售搜推团队的关注重点。2023年，通过导购体系的一体化升级，集成了导购路径引导和算法匹配技术，解决了一系列技术难题，技术成果沉淀数十篇专利和行业顶会论文。
面对导购场景模型和样本数据的分散以及用户反馈数据稀疏问题，区别于行业里常见的数据增强等解决方案，创新地提出了预训练-微调范式，对session链路中的用户行为进行精准预测，随后在各个导购场景的用户反馈数据上进行微调，显著提升了流量分发的准确性。
在主图及属性卖点个性化分发从0到1的建设中，一方面优化分发能力，一方面通过“模型+策略”的协同，既构建了高效的优选模型，又根据自身数据特性设计了独特的负向属性值过滤策略，极大化提升用户体验。
面对图像搜索的高精准度挑战，我们将图搜召回任务建模为一个涉及千万级图片百万级ID数据的Re-ID任务，并通过利用多损失联合监督，显著提升了模型特征学习的判别力。为了应对数据巨量化和模型复杂化趋势，在算力优化方面，通过分布式模型并行技术和稀疏分类采样策略，大幅提升了GPU显存效率和模型训练速度。
去年，我们自主设计并实现了新一代交互式引擎系统，上线了AIGC应用京言。通过反馈式prompt优化、session切分、人类偏好指令对齐增强以及弹性多路检索等创新技术，持续探索为用户提供高效便捷购物体验。
2023年初，京东发布“春晓计划”，扩展百万量级的商家进入平台。京东以往的商家系统以服务企业用户为主，业务模式众多、复杂性很高，但新加入的有大量个人商家。如何兼顾原有复杂业务逻辑，又能快速打造适应大量个人商家移动化、简约化办公需求的运营系统？如何能简化运营和快速交付、保障商家规模的快速扩展及商家体验提升，成为京麦商家系统面临的主要挑战。
为此，移动端系统整合原生、Flutter和Taro技术，实现功能间的无缝调用，提高业务功能的快速交付和互通能力，同时以内置的一体化UI组件确保交互设计与实现的统一；商家入驻环节应用OCR、RPA及大模型语义理解能力进行智能化、自动化的审核，提高入驻效率；商品管理环节结合多模态大模型、海量相似商品主体检索和结构化数据OCR识别等技术，智能生成商品基础信息；商品营销上首推【主图浮层】功能，即通过动态加载营销利益点实时合成主图技术；履约、售后、结算正逆向交易环节，采用PaaS化插件业务流程扩展、规则计算引擎动态配置等技术方式快速支持个人小店运营模式。
这些深度改造，大大提高商家入驻效率，个人店入驻时间缩短至约4分钟，普通店15分钟，企业店3个工作日内；商品管理环节，商家只需维护库存和价格即可轻松完成商品上架；营销信息便捷推送，共同助力商家打造“更快运营、更好服务、更省成本”的开店体验。
电商创意素材中包含了大量的商品直观信息，优秀素材不仅能快速吸引消费者，还可以建立起情感联系。然而现有创意大多依赖人工制作，存在效率和成本的限制。京东零售技术团队基于AIGC技术，在图片、文案、图文创意等方面进行了技术突破，实现了高质量广告创意的自动生成。
图片创意上，技术团队提出通过类别生成器实现大规模背景生成，并使用个性化生成器从参考图像学习个性化风格，在保持个性化风格的同时能够生成高质量的不同类别背景；文案创意上，基于大语言模型通识，结合商详OCR卖点挖掘、标题、属性亮点词等电商数据，通过模型fine-tune、外挂知识库等方式，实现了满足用户偏好的营销文案创意生成；图文创意上，提出了一种P&R框架并分为规划和渲染两个阶段，规划阶段考虑产品外观和文本语义特征，使用PlanNet生成多样化、合理的布局，渲染阶段虑生成的布局和融合不同组件的空间关系，使用RenderNet生成背景。
以上技术突破成功解决了现有图片创意生成方法存在扩大生产规模时设计提示词的低效问题，克服了为特定品牌定制个性化背景时描述细节风格的困难，实现了创意化的图文生成，超越已有的图像生成方法，显著提升了设计效率并降低了制作成本。相关创新性成果已在ACM MM、CIKM、ICME等顶会上发表多篇论文。
近年来，随着移动端设备软硬件能力的进步，移动端的算力有了很大提升，同时面向移动端的机器学习框架和模型轻量化技术越来越成熟，端上的AI能力逐渐进入大众视野，端智能在电商领域也开始逐步走向规模化应用。通过持续探索，京东零售技数中心团队创新突破了端侧高性能推理引擎、端侧模型分发、异构环境及复杂任务兼容等技术卡点，完成了多个业务应用和落地，并获得信通院边缘计算产业全景图行业认证。目前均已集成端智能SDK，首页推荐、搜索重排、结算风控业务运行情况良好，日推理次数已经突破亿级，为用户带来了更好的互交体验。核心的技术亮点包括：
（1）高度量化压缩的端推理引擎：手机端对加载推理引擎体积有严格限制，既要引擎小，也要支持多类型业务。目前端侧推理引擎控制在1.9M。
（2）高并发场景下的稳定性保障：受限与手机端复杂异构的计算条件，端侧推理稳定性是衡量端智能能力的核心因素。目前端推理几十亿次/日，推理成功率超过99%。
（3）异构环境及复杂任务兼容性能力：同一套引擎兼容Android/IOS/鸿蒙3套系统，4种计算芯片，支持多种类型模型，支持内部不同业务多线程调用。
（4）云端协同的工程平台建设：通过建设端侧PythonVM能力，实现同一套代码逻辑云端共用。建设了模型预加载和模型后加载等多种端模型分发和部署能力，支持云端模型训练共用一套训练引擎能力。
数据安全屋
“可用不可见”技术驱动的数据合规应用新基建
如何让数据既能被无障碍使用，同时又确保数据安全、个人隐私不被泄露？近年来成为数据开放流通领域的重要难题。
2023年集团安全、集团大数据平台、零售隐私计算团队从0到1共同打造了集团首个“安全屋”系统，落地数据沙箱、联邦学习、多方安全计算等数据安全计算能力，基于可信平行切面技术实现高效、安全、及可扩展的系统能力，并无缝衔接集团内大数据基座、算法基座和安全基座，为集团内部数据共享应用、外部数据合作等场景提供合规支撑，成为集团数智化基础设施的重要板块。
安全屋落地京东自研版本Hive、Spark等安全计算引擎，确保业务层SQL逻辑、UDF算子、复杂数据ETL过程低感知切换，兼具衍生数据脱敏、衍生数据透明加密、入出管控等技术手段，保证数据“可用而不可见”；构建了一套免入侵的安全切面控制技术将大数据平台与算法开发平台无缝打通，对关键环节植入控制点实现同一个安全策略全局适用；融合硬件安全TEE，提供内存级数据加密运算，可有效保证运行时安全，更深度消除恶意注入和通信窃取等安全隐患；对原有ACL、RBAC权限管控模型进行升维扩展，从技术架构上兼顾系统灵活性和安全管控的统一性。
安全屋已经在集团内外项目中进行广泛应用，包括精准营销、金融风控、成本分析等多个场景。随着数据要素、数据市场的进一步发展，安全屋将在数据融合共享、数据安全计算等领域发挥更重要的作用。
京东自营和商家自运营模式，以及伴随的多种运营视角、多种组合计算、多种销售属性等观测方法，相较于行业同等量级，数据处理的难度与复杂度都显著增加。如何从海量的数据模型与数据指标中提升检索数据的效率，降低数据存算的成本，快速支撑业务的数据决策与分析，是数据团队去年聚焦解决的核心课题。过程中沉淀了多级加速引擎、基于代价的智能物化策略、基于One Metric的异构融合服务、基于One Logic的离近在线转换，显著提升业务数字化决策效率，也沉淀了多篇软著与多项技术专利。
对于智能物化与数据加速，行业普遍采用cube预计算+缓存模式，京东创新性落地了基于主动元数据的口径定义以及基于数据消费场景与消费频次的正负反馈动态决策，确保整个数据链路的存算分配“当下最优”，同时相较于粗粒度的物化策略，模型生命周期参考存储代价配置，数据查询链路根据RT表现动态寻址，使得数据生产与数据消费形成交互反馈链路，决策依据更丰富，决策粒度更精准。
基于图形语法和多端一体的可视化能力打造层面，京东JMT数据可视化能力可以依托底层指标中台快速进行智能诊断与归因，相较于tableau等头部解决方案，融入了更多图形语法同时可灵活适配多端多场景。
结合AIGC技术的智能数据问答系统chatBI，基于业务知识与数据资产的Prompt工程，使用本地大模型SFT对实体进行embedding，通过指标服务平台统一DSL取代了行业普遍NL2SQL的解决方案，解决了人为意识到数据语言的转换难题，所消耗芯片规模也优于行业水平，在数据智能分析诊断系统里准确率大幅领先。
以上核心技术通过23年的打磨与应用，数据指标开发与共享效率大幅提升，分析看板搭建时间从天级别缩短到小时级别，且业务用户逐渐可以进行自交付，解决了集中式研发的人力瓶颈，日均指标消费频次从23年初的百万级别增长到年末的几千万。未来还将在数据加速、智能物化、智能诊断、大模型应用等方面持续深耕，不断优化数据存算成本，提升数据应用的效率、体验。
即时零售行业进入全品类小时达时代，用户丰富且真实的"使用场景"切换构成了消费增长新趋势，品牌需要进行全渠道优化、重新配置资源，寻找成本、效率和体验的最优解。在此背景下，2023年，京东到家正式发布LBS网格化运营工具“宏图系统”，通过B2C+O2O全域数据分析，实现人、货、场基于LBS网格化的供需精准高效匹配，帮助品牌提升全渠道运营效率，创造价值增量。
基于京东+京东到家行业独特的B2C+O2O零售数字化能力、数据沉淀，宏图系统能够实现基于LBS的网格化洞察、识别、分析、判断各个网格内的供需匹配情况，并输出用户、供给、营销策略。将京东数坊用户运营平台、京准通LBS流量运营平台、京东到家完美门店系统等进行打通，保障执行落地。作为标准化产品，宏图系统实现了服务模块的标准化、数据处理全周期流程的标准化和前端页面的标准化，同时解决了海量数据产出时效性与查询性能、数据指标交叉计算与验证导致数据准确性问题、数据安全保障和海量数据操作与渲染性能保障的技术难题。
宏图系统作为京东到家数字化系统持续为品牌商技术赋能全渠道数字化升级，提升C端获客能力、降低B端获客成本，实现全渠道营销提升。同时基于网格视角对品牌供给情况进行追踪，帮助链接品牌和商家，从供给覆盖、商品运营方面发现运营问题及机会，为从品牌角度的商品铺货，流通运营提供数字化的系统协同能力。
3D建模的本质是理解物理世界并进行数字重构的过程，符合信息传递从图片、视频到3D的发展趋势。它在数字孪生、场景重建等场景有广泛应用，在电商场景中最直接的是商品的3D展示，为用户提供全面的商品信息、弥补图片形式单一角度的不足，帮助商家实现业务数据的增长。
3D建模的常见技术路径包括基于传统图形学的方案、基于NeRF的深度学习方案，但从商品展示的效果看，想达到主流商详图片和视频质量的要求(PSNR>40dB)都还有距离。为此，我们设计了一套全新技术方案，针对3D商品展示场景重点突破，可实现商详图片级展示质量，并对不同材质、形状的商品有更好的鲁棒性。目前该方案已开展商家试点，上线几百个SKU，在引单转化率上表现正向。
3D建模的技术管线分为采集端、服务端、展示端，除了核心建模算法，我们对采集端、展示端的用户体验有更多的投入。为了保证采集端的便利性和高质量，设计了一款采集APP，在该APP中实现了详实的用户指导、准确的位姿估计、运动模糊控制等功能。在服务端，自研了一套空间编码算法和全新的3D内容格式(.jdv)，实现了高压缩、高质量、可交互，将原始采集的400MB素材压缩到10MB以内；设计了一套图像分割系统来提取干净的商品前景，通过准确的位姿估计和容积变换方法来稳定输出效果，涉及NeRF建模、背景分割等算法，实现了用户在复杂采集背景下的商品展示效果。在展示端，自研的空间解码器能够支持用户在商详主图上可交互式地自由查看商品3D展示。目前仍在继续降低采集难度、降低环境光照对展示效果影响等问题。
凡是过往，皆为序章。未来，坚持成本、效率、体验、可信、普惠、突破的技术追求，京东零售技术继续和大家一起交流成长、向新而行。
