机器人也能改进自己的判断方法，META Robot让技能与认知一起成长

作者： Xuanzhi Feng 1 , Zeyu LIU 1 , Weiheng Gao 1 , XINCHEN LI 1 , Jiankun Tang 1 , Fangqi Zhu 1 , Quanxin Shou 2 , Hao Chen 1 , Zhengyang Yan 1 , Hualei Zhang 1 , Junhao Li 1 , Zhiyao Wu 3 , Jie ZHANG 1 , Song Guo

研究机构：香港科技大学，澳门大学

机器人抓毛巾，夹爪合上，手臂抬起，毛巾却还在桌上。再换个角度抓一次，也许能成功。但如果机器人一直把“夹爪闭合”当成“抓住了”，多试几次，又能积累什么经验？

这正是META-Robot关注的问题：机器人的技能库可以越来越大，判断自己能不能做好一件事的能力，却未必跟着增长。

研究团队提出，让机器人在任务中同时改进操作技能、获取反馈的方式和判断标准。它需要能够发现，一次失败究竟源于动作没有做好，还是自己缺少观察和评价这个动作的办法。论文目前处于ICLR 2027在审阶段。

## 把失败拆到每一个动作里

知道任务失败了，还不等于知道问题出在哪里。即使看到执行结束时的画面，也未必能分清：抓取没成功，是没对准物体、没有接触，还是夹爪合上后物体滑走？这些情况需要不同的修复办法，关键是把失败追溯到具体动作。

META-Robot在生成操作程序的同时，也生成对应的检查条件，论文称为“动作级谓词”。它们把任务进展变成可以由证据判断的具体问题：是否对齐、是否接触、物体是否被夹持、是否到达目标位置。

关键在于记录动作前后，这些条件究竟发生了什么变化。夹爪从张开变为闭合，只能说明合拢动作发生了；物体随后是否被拿起，还需要新的证据。这样，大模型看到的就不再只有一段运行日志，还有程序实际改变了哪些物理状态。

某个必要条件没有满足，系统先针对对应动作修改并重试。任务整体失败后，则结合完整的状态变化和执行记录，分析是否需要修改更深一层的观察与验证机制，再重新执行全任务，检查修改是否有效。

## 看不清的地方，向身体多问一句

毛巾还在桌上，相机看得见。夹爪有没有夹牢，相机却未必看得清。当接触处被遮挡，META-Robot转而向机器人的身体寻找证据。

它会查阅机器人配置和控制器等文件，找到可用的关节状态、力矩等信号，用于感知接触和负载，改进获取反馈、判断动作结果的办法。

在毛巾示例中，机械臂缓慢下降，通过力矩变化寻找接触线索，再结合夹爪反馈与小幅抬升，检查布料是否被拿起。碰到桌面，不等于夹住毛巾；两件事必须分别确认。身体反馈因此同时参与了“怎么抓”和“怎样才算抓住”的改进。

换成外观相同、装水量不同的不透明瓶子，眼睛同样难以直接分出轻重。机器人可以把瓶子提起来，借助关节力矩反馈比较负载。那些藏在外观背后的差别，由动作带出了线索。

证据还不够，就再观察一次，或主动做一个探测动作。让判断等一等，让证据先跟上。

## 让这一次的修复，成为下一次的本领

这次终于抓住了，下一次怎么办？只记下一段成功的程序，还不足以知道何时该用它。META-Robot还要留下这套做法的适用条件，以及判断它做对了的依据。

为此，技能库与谓词库一起生长：前者保存经过验证的修复办法、适用条件和所需反馈，后者保存相应的检查条件。新做法与验证结果的依据一起留下。

例如，从通用的接触感知抓取出发，可以发展出专门应对薄毛巾的力矩引导抓取。新技能沿用“检测到接触”的检查，再按需要增加“布料已抬起”等条件。经验有了更具体的用法，检查也跟着深入一步。

这些经验不会只是越堆越多。等价的修复会合并，针对特定情境的办法会归到通用技能之下，不同机制则另开分支；能共用的检查条件继续复用，不够用的再补充、验证。

遇到新任务，系统根据当前条件和可用反馈，找出最合适的具体技能，连同它的检查条件一起取回。没有现成的专用办法，就借助适用的通用技能生成并验证新实现。一次修复由此有机会成为后续探索的起点。

## 多一层自我检查，能多做成多少事

先看仿真。在LIBERO-Pro的Spatial–Task设置下，采用GPT-6 Astra的META-Robot成功率达到95.8%，比ASPIRE的60.0%高35.8个百分点。同一设置下，移除动作级谓词后，成功率降至76.0%。逐步检查，影响了最后能否做成。

再把目光移回桌面：抓放网球、按指令叠杯、提起瓶子比较重量。在Galaxea R1 Lite真机上，这三类任务各测试8次，全部完成。七类任务合计成功44次，总成功率为78.6%（44/56）。毛巾折叠成功5次，精密插接成功3次，更细致的接触操作仍然是挑战。

这些改进通过更新程序与知识库完成，无需训练模型参数。经验也并非越多越好：在未见过的长序列任务上，扩大知识库未能持续改善表现。学会新办法之后，还要学会在合适的时候用它。

从“再试一次”到“知道下一次该改什么”，META-Robot尝试让机器人把失败转化为更具体的能力。如果做法、观察方式和判断依据能够一起成长，面对陌生物体和新任务，机器人或许能少一些从头摸索，多一些有据可循的尝试。

论文链接：https://arxiv.org/abs/2610.41868

项目主页：https://meta-robot-research.zhiyao494272.chatgpt.site/