愿景&开源 | 把今天的能力短板，变成通向超级智能的进化路径

> Anthropic 工程师刚刚提出 “95% 的工程师已经在跑自我改进循环。” RSI 热潮推到眼前，递归循环跑起来了，AI 究竟变强了多少？本文将公开 Theseus Lab 进化纪元的洞察和愿景，并开源 3 项相关工作。

模型的能力，正在以月为刻度向前推进，但能力的进步并不同步。

- 当你和 AI 说 “生成好看的 vlog“，它给出的成果却是另一类风格，因为【好看】的指令不够清晰，需再沟通多轮。

- 即使指令给的足够细致，AI 依然很难做到企业级交付如装潢，因为这涉及到多环节统筹，单节点出错会导致交付偏差。

- 哪怕 AI 记住各环节需求，做到了存储记忆，但规则会迭代 & 需求会更新，新变动依然会导致新问题。

现实世界永远充满模糊的诉求、意外的突发变动，所以无法 100% 全程放心地交给 AI。人类不得不依然从指令、检查、修正等角度付出时间精力。

Theseus Lab 的工作区测试也反映了类似的问题，从 8 月的 GLM、9 月的 MiMo、10 月的 DeepSeek 到 11 月的 HY4，跨源证据整合与受限环境探索的得分均提高约 22 分，状态追踪和例外推理也持续走高。模型正从检索、写作和代码生成，走向处理更复杂的真实工作，但过度行为抑制、约束决策等方面的能力提升仍然有限。

一、愿景：超级智能的自进化驾舱

为把自进化能力开放服务于现实世界，Theseus Lab 现已依托三层自进化技术路线逐步开展：

1.1 开放环境中的自主探索

模型的能力提升不再局限于标准测试集，而是延伸到真实、开放的业务、创作与科研环境，在自主探索中理解现实需求、应对环境变化。

- 例如，在上面工作区实验中，用户提出模糊要求，模型需寻找关键线索，主动查询相关数据源。

- 原始 GLM-5.3-Flash 在这类任务的得分仅为 34.3，而充分获取材料上下文的模型则可达到 100。

1.2 实践经验的持续内化

Anthropic 的研究提出，Agent 需要类似人脑睡眠整理记忆的 “梦境” 过程，在任务结束之后回看全部日志，固化有效经验。我们的思路与之相通：单次项目踩过的坑和收获的经验，转化成通用可复用能力。

- 例如，只需说 “帮我写周报”，它就能串联工作记录并按你的风格和汇报重点成稿。

- 在涵盖真实个人 12 个月工作轨迹的长程任务测试中，此方法在检索增强、技能记忆等多项比较里取得了最佳成绩。

1.3 从一阶改进走向二阶进化

已有自进化方法多是在既定的方法下，根据反馈不断调整结果。我们让 AI 审视这些方法本身：怎样改变尝试的方向和方式能取得更大的突破？

- 例如，研发连续做了多轮实验，若继续修改方案再试，是一阶改进；能调整实验顺序和判断标准，则是二阶改进。

- 在实验中，相比始终采用固定改进方法，让改进器自我迭代带来了 12 个百分点提升。

以上三层自进化机制成熟跑通后，开篇图例中列举的 AI 诸多短板，便能从底层获得回应，超级智能的演进会持续对齐人的真实目标。

二、【逐步开放】近期技术成果开源

理想的轮廓已经清晰，现实 AI 前沿模型距离超级智能还有多远？想客观衡量必须跨越不同任务类型开展对照，我们也将开放对应的参照尺度。

Theseus Lab 进化纪元联合生态伙伴: Humanlaya、小红书开源三项具体的技术成果，含代理能力、专精能力、高阶进化能力。

开源 01. 真实企业项目揭示前沿模型代理交付能力短板

> 把项目交给 Codex、Claude Code，为什么还得人兜底？

- https://deliverbench.github.io

OpenAI、Anthropic 等的智能体工具，已经能替人干很多活，却还不能让人放心把整个项目交出去。写报告、做模型、整理材料，单独拿出来都像模像样；一旦让它负责整个项目，人还是得盯进度、查结果、补漏洞。

实测中 Qwen3.8Max 把公司的全部借款，误当成某笔贷款的待偿余额，错误顺着任务依赖链进入了最终交付。每步都生成了文件，整套成果却建立在同一个错误上。

在 DeliverBench 中，我们让这些智能体接手完整的专业项目：接着自己的成果往下做，处理陆续到来的材料和反馈，最终交付可验收的成果，检验它们从 “能帮忙” 到 “能交付” 究竟还差在哪。

在这项覆盖全部 11 个项目的七个 Agent 系统评测中，前沿模型的最高平均最终交付分仅为 65.0/100；且若以 90 分为子任务通过的阈值，最高通过率仅为 50.0%。

这背后暴露了开篇我们提到的 “前沿 AI 能力并不均衡” 的关键问题，让它们完成一项明确交办的工作，往往表现不错；若持续负责整个项目，短板的能力问题就暴露出来了：

Project Mars 再融资项目下，五个前沿模型的不均衡能力表现

DeliverBench 的设计初衷：是沿着完整项目链条做全流程检验，把那些短 demo 里看不见的隐患暴露出来。下一步：就是让 Agent 能力沿着项目链持续生效：

- 如何识别修改的影响范围？输入变化后，哪些计算报告和决策需要重新检查？

- 如何维护证据与结论的联系？怎样避免未经核实的假设被当成确定事实？

- 如何发现并修复早期错误？修复文件后，如何确认依赖它的也更新？

开源 02. 自我改进能否迁移揭示当前智能体进化边界

> AI 学会改进自己，进步能保留、能迁移吗？

- https://theseus-labs-rsi.github.io/SelfImprove-Bench

AI 已经开始根据任务反馈修改提示词、积累记忆，甚至调整工具和执行流程。但反复改进之后，再遇到见过的任务，还能不能做好？现有针对 RSI 的评测短板，说犀利点就是三个字：不查账。有的评测只看 "训练过的任务还能不能做对"，有的看 "换个任务行不行"... 各自标准不一，可能在某种测试上效果拔群，在别处暴露短板。

Experience-level 停留在对 prompt、memory 和纯文本 skill 的改进，harness-level 将代码工具和流程纳入改进范围，meta-level 则进一步改进器自身的进化。

值得关注的自我改进，应当能够迁移到未见过的实例、更高的难度、同类中的新任务，乃至不同能力类型的任务中；这些任务不能通过简单的 Experience-level 改进得到满足；需要可控、可扩展的基础设施为上述方面的评测提供支持。在我们的 SelfImprove-Bench 中，按 "评测和训练的关系"，定义了 G0–G4 五个台阶：

- G0 已见实例保持：旧题重做

- G1 同游戏同难度：只更新了题目

- G2 更高难度：同款游戏，加难度

- G3 同任务族跨游戏：同类能力，换游戏考

- G4 跨任务族迁移：换类能力，能否迁移

每级都用 HCI 衡量一段改进过程的效果，公式很直白：(进化后分数−进化前分数)/(上限−进化前分数), 评测的关注点从 "这个 AI 最终达到多强" 变成了 "这段改进过程多有用"。

SelfImprove-Bench 具备任务生成、编排、模拟、分析的全套元能力，具有可扩展性的 RSI 基础设施。通过细粒度的结果分析，我们得到了很多有意思的初步发现：

- 发现一：越往上爬，增益越薄，甚至会掉。 G1 上 88.9% 的组合取得正收益、G2 正收益缩减至 82.4%、G3 同任务族跨游戏只剩 55.6%、G4 跨任务族仅 5 个为正。

- 发现二：排名会翻转。 单方法在不同台阶表现差异显著，各方法之间的排名会换位。

- 发现三：高阶进化存疑。主实验中 87.9% 的改进仍集中在提示词和记忆，未观察到改进器自身的修改。

- 发现四：有效进化，也要敢于推翻先前的改进。执行框架层与二阶改进方法对既有意见的修订比例约为 30%–40%。

开源 03.「视觉文档」语义解析评测

> 内容准确与视觉还原，哪家模型实例更强？

- https://ambihtmlbench.tech

试想，你精⼼设计了⼀组海报模板，或是⼀套好⽤的⼩红书笔记排版⼯作流，该怎么把它复现下来，⽇后快速编辑使⽤？⼜或，当你有⼀个具有丰富表单信息的⽂件夹，该如何保持表单的格式，让关键信息都各在其位，让 Agent 能够更好的提 取字段信息？

如果希望把这些页面继续用于编辑、检索或 Agent 操作，我们需要保留下来的，还有内容之间的关系与它们在页面中的呈现方式。

基于此，Theseus Lab 进化纪元联合小红书推出 AmbiHTMLBench，要回答的是：给定一张「视觉文档」图像，模型能否重建出内容准确、结构完整、视觉忠实的 HTML 页面？

AmbiHTMLBench 将错误量化为客观和主观两方面：第一条是客观评测，针对内容识别时漏字，错字，分别检查文字、表格与布局。评测系统先在固定浏览器视口中渲染模型生成的 HTML，再提取可见内容及其位置，与参考标注匹配。第二条是主观评测，比较哪个重建页面在视觉层面更忠实于原稿。每次比较同时展示原始页面与两个重建结果，结合整体布局、文字呈现和特殊元素组织，判断是否 “忠实还原”。

结合网络开源的数据，以及高影响力和排版精美的推文，我们构建了一个 50000 量级的优质文档池，并从中选择四类主要页面作为研究对象：

- 机构 PDF：含密集文字表格图表

- 网页原生页面：不同内容层级、页面组织

- 报纸与杂志：多栏排版、跨栏标题、复杂图文

- 海报设计：视觉层级、自由布局、多样字体

目前公认能力较高的模型也无法很好处理此问题：如这张报纸，Claude Opus 5 能保留原文措辞，却丢失了红字强调。而 GPT-5.6-Sol 虽保留了强调部分，却改写了其中一处文字。

实验中，我们对众多多模态系统进行了评测。其中，在主观指标上，我们邀请了 33 名参与者，完成 7,920 次人工判断，尽可能复现忠实人类喜好的视觉还原评判方式。

结果显示 Gemini 3.1 Pro Preview 以 0.8092 获得客观综合分第一，主要优势来自更低的文字错误和更强的表格保真度；GPT-5.6-Sol 则获得最高的客观布局分，并在主观榜单中排名第一，但在客观综合排名不尽人意。

这阐明了，文字错误和视觉呈现损失，会以不同方式影响重建质量；根据具体任务，两个榜单可以分别提供更合适的模型能力视角。

技术浪潮容易让人沉醉于能力的奇观，却时常淡化落在真切生活的重量。

以往我们制造器物，把体力重担交付外物；如今我们构筑智能，希望把思虑之中繁重的部分向外移交。

重新划分人与 AI 的能力疆域，解放人类被重复性推演消耗的精力。

Theseus，让无限推演交给智能，让无限想象归于人类。