BestMan:重塑具身智能的移动机械臂平台,打破仿真与现实的界限

点击下方卡片,关注“具身智能之心”公众号

作者 | 具身智能之心  编辑 | 具身智能之心

本文只做学术分享,如有侵权,联系删文


>>点击进入→具身智能之心技术交流群

2ddcfde5635c94e999d2459e12929663.jpeg

在具身智能(Embodied AI)领域,机器人不仅需要“看得见、听得到”,还必须具备理解复杂任务的能力,并能在现实世界中执行精准且高效的操作。为实现这一目标,具身智能平台至关重要,它提供了集成感知、决策和执行的统一框架,结合高质量的仿真与真实设备的无缝衔接,加速了机器人研究从开发测试到实际部署的全过程。

近年来,具身智能领域发展迅猛,出现了许多高质量的平台。然而,当前的仿真平台在多层次技术集成、模块化与即插即用性、仿真到现实的高效迁移,以及硬件扩展的灵活性方面仍面临诸多挑战。为应对这些挑战,来自重庆大学、上海人工智能实验室和西交利物浦大学的学者们发布了基于 PyBullet 的具身智能软硬件平台 BestMan。该平台专为移动机械臂设计,集成了感知、规划、控制等关键技术层次,并通过统一的API接口有效打通仿真与硬件的障碍,使算法开发者能够高效地将算法从虚拟仿真迁移到真实环境,增强了算法在异构真实设备间的高效迁移能力。

BestMan平台有四大核心特点:

01 多层次技术集成

BestMan平台采用集成的技能架构,涵盖从环境感知、任务规划到运动规划与控制执行的全流程技术。该架构的优势在于将复杂的多层次技术问题整合在一个平台中,减少了开发人员在不同层次之间切换和协调的困难。例如,移动机械臂在厨房环境中执行自然语言指令任务时,可以通过感知模块识别交互对象和操作位置,在任务规划模块中自动生成行动步骤,并最终通过运动规划和控制模块完成整个动作过程。

de07e3f190caa2614fcf7f3cb27cb116.jpeg

图1:BestMan架构图

02 模块化设计,灵活扩展能力

BestMan平台采用模块化设计,使每个功能组件独立且易于替换或扩展。例如,导航模块支持从本地规划(如DWA算法)到全局规划(如A*算法)的多种实现,确保机器人能够在不同的家庭环境中进行路径规划和避障,无论是处理静态还是动态场景,都可以通过其模块化设计灵活调整应对策略。此外,平台中的“抓取姿态估计”模块默认采用高效的AnyGrasp算法,开发者可以根据具体的机器人任务场景轻松替换成其他算法,甚至开发全新的算法。

同时,每个模块的实现都提供了模板,不同算法实现以独立的Python类形式封装。这种灵活的模块化结构减少了修改或扩展功能时的耦合问题,确保开发者能够根据具体的研究需求,快速熟悉并定制和调整平台功能。同时,平台对规划(Planning)和学习(Learning)方法具有良好的扩展性,便于用户在基础版本上轻松开发特定模块。

03 统一的仿真与硬件接口,打通现实与虚拟的屏障

在机器人开发过程中,算法从仿真环境迁移到真实硬件时,往往面临巨大的兼容性和复杂性问题,例如硬件接口和设备驱动的差异。BestMan平台通过提供统一的API接口,在很大程度上降低了迁移难度。无论是在PyBullet仿真环境中,还是在真实机器人硬件上,开发者都可以使用一致的高层次指令来控制机器人。

例如,命令“move_forward()”在仿真环境中可能使用PID控制器,而在真实机器人上则调用硬件厂商提供的电机控制接口。这种抽象化的API设计,不仅减少了算法从仿真到硬件的迁移工作量,还大大降低了硬件开发的复杂度,使BestMan成为研究仿真到现实无缝对接的高效工具。

0f6290c959f08898d88322b6b65c823e.jpeg

图2:BestMan平台实现了仿真与硬件接口的统一

04 软硬件解耦,灵活适应多种配置

为应对硬件多样性问题,平台对软硬件进行了深度解耦,硬件层次不与软件层次紧密绑定。无论是在仿真环境还是在真实硬件上,平台都支持移动底座、机械臂和末端执行器等组件的模块化配置,支持多种组合方式,并且允许轻松扩展。无论是多自由度机械臂,还是轮式或足式机器人,BestMan都提供了便于扩展的接口,实现跨平台的广泛应用。

80e85a3c2896d888b14e621750f8688e.jpeg

图3:BestMan平台支持软硬件解耦,灵活适应多种配置

我们还为初次使用者提供了大量代码示例,方便上手。除了以上四大特点,我们对平台进行了多处精心设计。例如,Pybullet引擎在渲染效果方面一直备受诟病,因此我们的平台支持后续通过Blender一键渲染。尽管我们已经提供了丰富的资产库,用户仍可以根据现实场景创建相应的资产,这种操作非常有利于规划(planning)和学习(learning)算法的开发。我们还提供了URDFormer和ACDC等前沿数字孪生算法,使用户能够轻松创建数字资产并将其集成到BestMan平台。

d3e36af6d01f96b68d5b4a205846bb9d.png

图4:BestMan平台提供丰富的数字资产

我们还提供了一些相关的Demo片段。

对于机器人研究者和开发人员来说,BestMan极大降低了开发门槛,使复杂的多层次技术系统能够在一个统一的平台上得到协调与实现。BestMan项目的命名源自英文中的“伴郎”,象征着我们希望机器人能成为人类最佳助手的愿景,始终陪伴和支持人类。对于希望将研究应用于真实场景的开发者,BestMan提供了仿真与硬件的快速对接能力,为高效开发、验证和部署机器人系统提供了全面支持。值得注意的是,BestMan平台已被中美多所高校团队使用。我们欢迎对具身智能技术感兴趣的研究者与开发人员使用BestMan平台,共同推动平台的优质发展。

5cfc15e79f36a74a8e730f42a28b4bc4.jpeg

参考文献: Yang, Kui, et al. "BestMan: A Modular Mobile Manipulator Platform for Embodied AI with Unified Simulation-Hardware APIs." arXiv preprint arXiv:2410.13407 (2024).


“具身智能之心”公众号持续推送具身智能领域热点

【具身智能之心】技术交流群

具身智能之心是首个面向具身智能领域的开发者社区,聚焦大模型、机械臂、双足机器人、四足机器人、感知融合、强化学习、模仿学习、规控与端到端、仿真、产品开发、自动标注等多个方向,目前近60+技术交流群,欢迎加入!扫码添加小助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)

78e4750a3cedea1bbc930761c5f5d60c.jpeg

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区,主要关注具身智能相关的数据集、开源项目、具身仿真平台、大模型、视觉语言模型、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等方向。扫码加入星球,享受以下专有服务:

1. 第一时间掌握具身智能相关的学术进展、工业落地应用;
2. 和行业大佬一起交流工作与求职相关的问题;
3. 优良的学习交流环境,能结识更多同行业的伙伴;
4. 具身智能相关工作岗位推荐,第一时间对接企业;
5. 行业机会挖掘,投资与项目对接;

f35cd7ff388227bd07f49a73f46afc08.png

猜你喜欢

转载自blog.csdn.net/CV_Autobot/article/details/143442462