最近，闻明东谈主工智能科学家李飞飞团队发布了“空间智能”扣问标的的最新冲突九游会(中国区)集团官方网站，忽视了议论重要点拘谨（ReKep，全称：Relational Keypoint Constraints）。

据了解，ReKep是一种基于视觉的暗示圭表，用于设定机器东谈主操作中的拘谨条款，从而优化其动作。它通过将环境中的三维重要点映射到数值本钱来界说这些拘谨，这些重要点具有任务语义和空间兴味。

深度视觉与Franka机器东谈主学习的深度和会

倒茶、叠一稔、整理书本、丢垃圾，目下的家务机器东谈骨干活简直越来越熟习了。

他们把任务动作拆解后标记出几个重要点，再给到具体规定让机器东谈主知谈这些点之间有什么议论，要怎样操作相比好。除此除外，机器东谈主还能自主学习，越进修越是非。

以倒茶这个动看旧例，机器东谈主会先用录像头详情茶杯茶壶等的位置、形态等因素，再识别出重要点，比如茶杯的中心点和把手的中心点，ReKep 会给机器东谈主编写出一系列规定，告诉它要用什么角度、怎样拿怎样倾倒、用多豪恣气等，机器东谈主惟有按照规定活动就能得手倒茶了。

这些丝滑动作恰是先进Franka机器东谈主力控时期 + 精妙框架瞎想 + 多模态大模子的加持。不得不说，这样一个精真金不怕火的动作思让机器东谈主作念好是真的是太难了。淌若莫得 ReKep 时期，思看到机器东谈主熟习地干多样家务活还不知谈要比及遥不行及。

毕竟本年三月份的时候，李飞飞团队的家务机器东谈主如故这样的，只会擦擦桌子切个生果：

而半年后的今天，就照旧进化成万能选手了：

目下，李飞飞团队对于 ReKep 时期的论文已在 arXiv 公开，代码也已开源。

论文标题：ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

论文地址：https://arxiv.org/pdf/2409.01652

技俩网站：https://rekep-robot.github.io/

技俩代码：github.com/huangwl18/ReKep

李飞飞暗示，该使命展示了视觉与机器东谈主学习的更深头绪和会！诚然论文中莫得说起李飞飞在本年 5 岁创始立的专注空间智能的 AI 公司 World Labs，但 ReKep 清醒在空间智能方面大有后劲。

论文轮廓

扣问问题和动机

李飞飞团队旨在经管与机器东谈主操作任务议论的挑战，这些任务触及多个空曲折洽和时分依赖阶段，需要对复杂的空间和时分议论进行编码。

他们但愿设置一个鄙俚适用的框架，或者允洽需要多阶段、郊野环境、双手操作和响应活动的任务，通过基础模子的进展在获取拘谨方面具有可延迟性，并或者及时优化以产生复杂的操作活动。

难点与挑战

现存的使用刚体变换暗示操作任务拘谨的圭表空匮几何细节，要求预界说的物体模子，况且无法处理可变形物体。

在视觉空间中径直学习拘谨的数据开动圭表也在相聚历练数据时靠近挑战，因为拘谨的数目在物体和任务方面呈组合增长。

时期革命

李飞飞团队忽视了一种名为议论重要点拘谨（ReKep）的圭表，用于机器东谈主操作。

ReKep 将操作任务编码为拘谨，勾通机器东谈主与其环境，而无需手动标注。该圭表愚弄Python函数将一组语义上有兴味的三维重要点映射为数值本钱，从而或者暗示复杂的空间和时分议论。

该框架旨在通过大型视觉模子和视觉-谈话模子自动生成拘谨，竣事从当然谈话请示和RGB-D不雅测中高效地指定任务。

他们还忽视了一种算法实例，不错及时高效地经管优化问题。

真的确践

实践触及多个任务，包括倒茶、回收罐、整理书本、打包盒子、折叠衣物、装鞋盒和相助折叠等。这些任务被瞎想来测试系统在不同方面的性能，如空间和时分依赖性、对环境的允洽性、双手协长入与东谈主类的互动。

轮式单臂平台和固定式双臂平台的得手率

两个机器东谈主平台在外部搅扰下的得手率

ReKep 用于折叠不同类别服装的新式双臂计谋过火得手率

实践隔断显现，ReKep在多种任务上的得手率较高，证实了其在自动化操控任务中的后劲。得手率字据任务的不同而有所各异，但总体上进展风雅。

时期解读

议论重要点拘谨（ReKep）

最初，他们界说了单个ReKep实例，况且假定照旧指定了一组 ? 个重要点。每个重要点 ??∈ℝ3 指的是场景名义上的一个 3D 点，其坐标依赖于任务语义和环境（举例，手柄上的持取点，壶嘴）。

实质上来说，一个 ReKep 实例编码了重要点之间的一个期许的空曲折洽，这些议论可能属于机器东谈主手臂、物体部分或其他代理。

然而，一个操作任务宽泛触及多个空曲折洽，况且可能具有多个时分上依赖的阶段，每个阶段都触及不同的空曲折洽。为此，他们将任务剖析为 ? 个阶段，并为每个阶段 ?∈{1,…,?} 使用 ReKep 来指定两类拘谨：

子筹划拘谨

旅途拘谨

其中 ?sub-goal (?) 编码阶段 ? 隔断时需要达到的重要点议论，而 ?path (?) 编码阶段 ? 里面需要闲散的重要点议论。

如下图所示的倾倒任务由三个阶段构成：持取、对皆和倾倒。

阶段 1 的子筹划拘谨拉动终局扩充器向茶壶手柄围聚。阶段 2 的子筹划拘谨指定壶嘴需要位于杯口上方，阶段 2 的旅途拘谨确保茶壶馈送，以幸免倾倒时溢出。临了，阶段 3 的子筹划拘谨指定倾倒角度。

主宰任务看成ReKep拘谨优化问题

他们将终局扩充器姿态暗示为 e∈ SE（3），将操控任务表述为一个优化问题，筹划是找到一系列闲散ReKep拘谨的终局扩充器（end-effector）姿态，并将扬弃问题表述如下：

对于每个阶段，优化算法需要找到闲散子筹划拘谨的终局扩充器姿态，以及竣事这些子筹划的旅途。

剖析与算法即时实例化

为了及时求解优化问题，他们接收了剖析圭表，仅优化下一个子筹划过火对应的旅途。

子筹划问题：最初经管子筹划问题，详情现时阶段的终局扩充器筹划姿态。旅途问题：在赢得子筹划姿态后，经管旅途问题，筹划从现时姿态到子筹划姿态的轨迹。回溯：如果发现任何子筹划拘谨不再闲散，系统不错回溯到之前的阶段进行重新筹划。重要点提议和ReKep生成

为了使系统或者在给定解放局面任务请示的情况下扩充郊野任务，他们瞎想了一个使用大型视觉模子和视觉谈话模子进行重要点提议和ReKep生成的管谈，并分红了两个部分：

重要点提议

使用大型视觉模子（LVM），如DINOv2，来提真金不怕火场景中的特征，并愚弄这些特征来识别潜在的重要点。这些重要点宽泛是场景中具有语义兴味的3D点，举例物体的边缘、边缘或特定物体部分的中心。

ReKep生成

集中重要点和任务请示，使用视觉-谈话模子（VLM）来生成ReKep，这些拘谨将用于指点机器东谈主的动作筹划和扩充。这一设施愚弄了视觉模子对场景的连气儿以及谈话模子对请示的解释智商。

实践

该团队通过实践对这套拘谨瞎想进行了考据，并尝试解答了以下三个问题：

1. 该框架自动构建和合成操作活动的进展如何？

2. 该系统泛化到新物体和操作计谋的恶果如何？

3. 各个组件可能如何导致系统故障？

使用 ReKep 操作两台Franka机器臂

他们通过一系列任务检查了该系统的多阶段（m）、郊野 / 实用场景（w）、双手（b）和响应（r）活动。这些任务包括倒茶 (m, w, r)、摆放书本 (w)、回收罐子 (w)、给盒子贴胶带 (w, r)、叠一稔 (b)、装鞋子 (b) 和相助折叠 (b, r)。

分析系统诞妄

该框架的瞎想是模块化的，因此很浅显分析系统诞妄。该团队以东谈主工边幅检查了表 1 实践中遭逢的故障案例，然后基于此计较了模块导致诞妄的可能性，同期接头了它们在管谈历程中的时分依赖议论。隔断见图 5。

不错看到，在不同模块中，重要点追踪器产生的诞妄最多，因为时常和间或出现的侵扰让系统很难进行准确追踪。

开始：FRANKA九游会(中国区)集团官方网站