看视频、建世界、做实验：清华Asking the World让AI用物理回答问题

AI 能逼真地 “搭出” 一个世界，就能准确预测它如何运转吗？ GPT-6 Astra 展现出的场景建模能力令人印象深刻。但几何与外观的逼真还原，并不意味着对物理规律的准确把握。 避免物体穿模、借助语义先验估计物理属性，与准确推演物体运动之间 ，仍有距离。后者还需要进一步识别质量、摩擦系数和阻尼等难以仅凭外观确定的属性与参数。

从还原外观到推演运动，AI 还要跨过一道 “物理关”。 清华大学团队提出的 Asking the World（ATW） 框架，让 AI 根据视频自主构建可运行的物理仿真世界，再通过属性查询、运动仿真和条件干预获取证据，回答物理属性、运动预测及反事实推理等问题。以 Gemini-3-Flash 为基座模型，ATW 在 CLEVRER 和 ContPhy 两项物理推理基准上的整体准确率分别达到 80.82% 和 70.56% ，相较于直接根据视频回答，分别提升 46.50 和 28.10 个百分点。

作为团队 PhysMind 的续作 ，ATW 继承了 “从视频恢复物理世界，再通过实验开展推理” 的思路，进一步让智能体决定如何建模、开展哪些实验，并将方法拓展至更多材料和物理场景。

这套方法无需额外训练或微调，也提供了更经济的模型选择：相比 Astra，Gemini-3-Flash 这类视觉语言模型的 调用成本低得多 。ATW 由视觉语言模型理解问题、选择操作，再由物理工具计算运动。

01｜从视频恢复可执行的物理世界

ATW 的方法基础来自团队此前的工作 PhysMind。它从视频恢复几何、运动与物理参数，建立能够继续仿真，也允许修改条件的 “可执行世界”。

例如，移走视频中的球体，哪些碰撞仍会发生？原视频没有给出答案。PhysMind 会在重建场景中移除球体，重新运行仿真，依据轨迹和碰撞事件作答。

图 1：PhysMind 通过修改重建场景并运行仿真，为 “移走球体后哪些碰撞仍会发生” 提供判断依据。

要构建这样的世界，PhysMind 先识别物体、恢复形状与运动轨迹，再结合地面和支撑关系校正结果。物体滑行时的减速、碰撞前后的速度变化，则为估计摩擦和质量关系提供线索。

系统利用连续时间解析方法估计摩擦、质量比例和碰撞恢复系数等物理参数，使仿真尽可能符合观测。 这一过程称为 “系统辨识” 。同一段视频只需建模一次，后续多个问题便可复用。

图 2：PhysMind 整体流程，包括几何与运动恢复、物理参数估计，以及通过查询、仿真和干预获取推理依据。

ATW 沿用这一思路，进一步拓展：面对不同场景和任务，如何让 AI 自主选择合适的建模方式，并决定用什么实验获取答案？

02｜从建模到实验，由智能体自主决策

物理属性判断可能仅需读取参数，预测则需要延长仿真。任务不同，需要关注的物体、调用的工具和获取的证据也不同。ATW 把问题需求引入世界构建，并将过程分为 “世界建模” 与 “世界探测” 两个阶段。

在 “世界建模” 阶段，智能体选择相关物体和物理模型，调用合适的视觉工具恢复几何与运动，再拟合物理参数。它会检查中间结果，根据反馈调整感知、模型选择或参数估计。

论文中的台球案例展示了这一过程：发现黄色球未被分割后，智能体补充检测，再继续后续步骤。

完成建模后，智能体进入 “世界探测” 阶段。判断物理属性，可以查询拟合参数；预测未来，可以继续仿真；回答反事实问题，则复制场景、施加干预。如果证据不足，它会进一步查询轨迹或开展新的实验。

图 3：ATW 根据任务与反馈选择操作，包括修正物体漏检、移除棕色球和查询碰撞事件。

不同实验基于同一个已校准的世界，分别保留结果供比较。智能体在这一基础上推演不同条件下的运动，并依据轨迹与事件作答。

03｜拓展至多种材料与物理场景

ATW 的另一项进展，是从刚体碰撞拓展到更多材料。布料会弯折，流体会流动，还可能与其他物体相互作用，需要相应的物理模型。

为此，团队开发了 PolyWorld Engine ，一套供智能体使用的物理仿真引擎。

它基于 Warp 构建，涵盖 刚体、软体、布料、绳索、流体及其耦合交互 。智能体可以通过统一接口构建场景、读取状态、推进仿真和施加干预。

图 4：ATW 将统一的建模与实验推理方法应用于刚体、流体和布料等场景。

所构建场景仍需与视频观测对齐。ATW 通过搜索参数、比较仿真与观测差异，校准运动与形变。对于可变形物体，还会比较形状、表面或中心线随时间的变化。如果偏差来自物体对应关系或物理模型选择，智能体可在建模阶段修正，再重新拟合。

04｜重建世界是否有效，用物理推理任务检验

复现视频中的运动，还不足以说明重建世界是 “物理可信” 的。团队因此用物理推理任务验证 ATW：让它预测视频结束后的事件、判断改变条件后的结果，检验恢复出的动力学能否帮助 AI 答对问题。

在 CLEVRER 上，以 Gemini-3-Flash 为基础模型，ATW 的总体逐题准确率达到 80.82% ，比同一模型直接回答提高 46.50 个百分点 ，比 PhysMind 提高 8.27 个百分点 。

在包含多种材料与连续介质现象的 ContPhy 上，ATW 的总体准确率达到 70.56% ，比同一模型直接回答提高 28.10 个百分点 。

表 1：CLEVRER 实验结果，比较直接回答、PhysMind 与 ATW 的表现

表 2：ContPhy 实验结果，覆盖属性判断、预测、反事实和目标驱动问题。

在实拍台球、弹跳球和玩具车三类场景的 60 段视频、60 个问题中，ATW 的准确率达到 71.67% ，同一模型直接回答的准确率仅为 33.33%。这展现出该方法具备进一步拓展至更广泛真实场景的潜力。

图 5：ATW 在真实场景中的物体分割、运动跟踪与动态重建。

从 PhysMind 的可执行世界出发，ATW 将建模、实验与反馈组织为更自主的推理过程。视觉语言模型负责选择操作，物理工具负责计算运动；重建世界的价值，则通过它能否支持正确的预测与干预推理来检验。

相关工作的主页、代码和论文均已公开，欢迎交流。

Asking the World（ATW）：

- Shenxiang Zeng（曾申翔）, Chen Yang（杨晨）, Peiyao Chen, Guohui Zhang, Jiansheng Fan（樊健生）, Chen Wang（王琛）

- 主页：https://asking-the-world.github.io/

- 代码：https://github.com/zengsx23/Asking-the-World

- 论文：https://arxiv.org/abs/2609.39135

PhysMind：

- Chen Yang（杨晨）, Shenxiang Zeng（曾申翔）, Haoyang Zhao, Zhouyuan Xu, Youquan He, Haoyu Li, Mingyi Deng, Jiansheng Fan（樊健生）, Chen Wang（王琛）

- 主页：https://physmind.github.io/

- 代码：https://github.com/ccyydd/PhysMind

- 论文：https://arxiv.org/abs/2608.04575