AI for AI 的下一关：能否自主规划实验，发现 Scaling Law？

作者丨论文团队

编辑丨ScienceAI

近来， AI for AI （用 AI 研发 AI）备受关注，但相关工作大多停留在 小规模实验 ：少量 GPU、数小时即可得出结论，例如训练算法设计、数据筛选方法对比。真正决定大模型能力走向的 预训练量级实验 ，单次就要消耗数百乃至上千 GPU 小时，AI 还很少参与其中的规划与决策。

人类研究者同样无法大量开展这类实验，通行的做法是借助 Scaling Law ：先完成一批小规模实验，总结出性能随规模变化的规律，再推算大规模实验的结果。先做哪些实验、做到多大规模、何时停止，本身就是 对大规模实验的规划 。

而 Scaling Law 的公式长期依赖研究者 手工设计 ，换到新场景往往需要大量试错。发表于 ICLR 2026 的 SLDBench 尝试让 AI 自己发现公式：在 5,000 多个真实训练实验上，AI 提出的规律，外推精度超过了人类专家此前提出的公式。

但在 SLDBench 中，实验结果事先全部给定， 做哪些实验，仍由人来决定 。

如果这一步也交给 AI 呢？

近日，来自香港中文大学（深圳）、香港大学、清华大学和北京大学的研究团队发布了 SLDBench v2 ：AI 面对一份由真实训练记录构成的 标价实验目录 ，每选择一个实验，就要支付当年实际消耗的算力，最后用总结出的规律预测从未见过的更大规模实验。

评测给出的答案是： 目前还难以做到。 8 个前沿模型一旦需要自己选择实验，成绩全部下滑，预测误差扩大到原来的 1.5 至 4.7 倍。不过，表现最好的 Claude Opus 5.5 仅用全量实验 4% 的成本，预测精度就超过了经典幂律公式使用全部数据拟合的结果。

- 论文标题：SLDBench v2: Active Scaling Law Discovery

论文标题：SLDBench v2: Active Scaling Law Discovery

- 论文地址：https://arxiv.org/abs/2610.16297

论文地址：https://arxiv.org/abs/2610.16297

- 项目主页：https://lingbei-meng.github.io/SLDBench-v2/

项目主页：https://lingbei-meng.github.io/SLDBench-v2/

- 数据与代码：https://github.com/lingbei-meng/SLDBench-v2

数据与代码：https://github.com/lingbei-meng/SLDBench-v2

Active 设定：实验由 AI 自主选择

SLDBench 的设定相当于「开卷考试」：所有实验结果直接交给 AI，由它写出公式并预测更大规模的实验，论文称之为 Passive（被动）设定 。SLDBench v2 新增了 Active（主动）设定 ：AI 只能看到一份实验目录，配置、分组和价格一目了然，结果全部隐藏；它需要自己决定买哪些实验，边买边改公式，并决定何时停止。两种设定最终面对同一批更大规模的隐藏实验，预测精度与花费分开统计。

这样设计的原因在于：选择实验与发现规律，本质上是同一件事。几条候选公式在小规模上可能几乎重合，放大后才逐渐分开；只增加便宜的小规模实验，往往无法判断哪条公式正确。

图 1｜Passive 设定直接给出全部实验结果（左）；Active 设定中，AI 分轮购买实验，点越大代表价格越高，在便宜点上拟合良好的公式，放大后可能偏离真实曲线（中）。8 个系统在 Passive 设定下几乎持平，在 Active 设定下差距明显拉开（右）。来源：论文图 1。

历史实验回放：把真实训练记录变成「实验商店」

要让 AI 自主选择实验，又不必真的训练模型，SLDBench v2 给出的方案是 历史实验回放 ：研究团队把公开发表的训练记录整理成一家「实验商店」，AI 选中一个实验，就能看到当年实际测得的结果，并按当年实际消耗的算力计费。商店不设预算上限，但每一笔支出都会被记录。

团队从 127 个场景、337 万余条记录中，筛选出 30 个连经典幂律公式（Scaling Law 最常用的标准形式）都难以拟合的任务作为考题。在这些任务中，实验价格相差的中位数达到 9,510 倍，需要预测的测试实验通常还比候选实验贵（中位数为 7.4 倍）。 AI 必须用便宜的小规模实验，去推算昂贵的大规模实验。

图 2｜30 个任务来自 14 个数据来源、共 33.9 万条观测，从 127 个场景中筛选而来，候选实验的数量、分组和价差都跨越多个数量级（上）；AI 只能看到价目表，购买后才能看到结果，最终由独立环境在隐藏实验上评分（下）。来源：论文图 2。

实验结果：一旦自主选择实验，8 个前沿模型全部掉分

研究团队评测了 8 个前沿 AI 系统，覆盖 Claude Code、Codex 和 Gemini CLI 三种框架，预测质量用 R² 衡量（1 为满分，0 相当于直接预测平均值）。

在 Passive 设定下，8 个系统几乎不分高下，R² 中位数都在 0.723 到 0.753 之间。 一旦需要自己购买实验，差距扩大到 0.33 ，每个系统都出现了下滑，排名也随之洗牌：Gemini 3.8 Flash 从第一跌至倒数第二，Claude Opus 5.5 则从第二升至第一。 善于利用现成数据发现规律，并不意味着善于选择实验。

分数下降并非源于「分批购买」本身：买下全部候选实验的运行，成绩与 Passive 设定基本持平。 差别在于买了哪些实验。

Opus 的实验成本中位数仅为全量的 4.01%，R² 中位数却达到 0.570，为所有系统最高；经典幂律公式即使使用全部数据，也只有 0.455。 排名前四的系统，仅用 4% 到 35% 的成本就超过了它。

表 1｜8 个系统在 Passive 设定下几乎持平，在 Active 设定下拉开差距。Opus 的成本中位数仅为 4.01%，成绩排名第一；最后一行为使用全部数据拟合的经典幂律公式。来源：论文表 1。

花费多少并不决定结果。Kimi K3 与 DeepSeek V4 Flash 的成本中位数都在 18% 左右，R² 中位数却分别为 0.555 和 0.235；Hy4-Preview 和 Qwen3.8 Flash 的花费与 Opus 相近，降幅却约为 Opus 的两倍。差别究竟在哪里？答案需要从购买记录中寻找。

图 3｜进入 Active 设定后，每个系统彻底失败的比例都在上升（a），R² 超过 0.5 的比例都在下降（b），误差普遍放大（c）。花费越少，失败比例往往上升越多（d）；Opus 的花费与 Hy4、Qwen 相近，上升幅度却小得多。来源：论文图 3。

失败案例：省下的成本，变成了预测误差

购买记录显示， AI 也偏爱便宜的实验 ：每个系统买到的实验数量占比都高于花费占比，分批购买时通常先买便宜的，再逐步加价。

一个视觉语言迁移任务中的案例颇具代表性。该任务分为 22 组，DeepSeek V4 Pro 在少数便宜的组里确定曲线形状后，在另外 14 个组中每组只买两个早期的小规模点，并直接套用同一个幂指数。这次运行只花了 4.4% 的成本，却建立在一个未经验证的假设上： 不同的组，真的能共用同一种曲线形状吗？ 结果，这 14 个组贡献了 96.4% 的测试误差。

问题不在于买的点少， 而在于关键假设始终没有得到检验。 只要在这些组中补充几个更大规模的点，就能判断幂指数是否通用。类似的遗漏并不少见，最终都会在测试中暴露出来。

图 4｜AI 偏爱便宜的实验：所有系统都位于“价格中性线”下方，买到的实验数量占比高于花费占比（d）；分批购买时先买便宜的，再逐步加价（b）；16.7% 的运行虽覆盖了所有分组，却丢失了参数变化，另有 10.7% 漏掉了分组（c）；同一系统的单次花费可相差上千倍（a）。来源：论文图 4。

最强模型：把预算花在能回答问题的实验上

同样花费很少，Opus 为什么没有陷入这些问题？对比购买记录，可以看到三点不同。

第一， 购买数量少。 Opus 买下的候选实验只占 21.5%，为 8 个系统中最少；花费同样不多的 Hy4-Preview、Qwen3.8 Flash 和 Gemini 3.8 Flash，买下了 34% 到 48%。

第二， 昂贵实验集中在后期。 按组内价格位置衡量（0 为最便宜，1 为最贵），Opus 第一批从 0.197 起步，最后一批达到 0.608，为所有系统中最高。它先用少量便宜实验确定公式的大致形式，再把成本集中投入少数昂贵实验。

第三， 结果最稳定。 同一任务重复 3 次，R² 在正负之间摇摆、误差相差十倍以上的比例，都是所有系统中最低的。

表 2｜各系统的购买方式。Opus 买下的实验占比最少（Point share 21.5%），最后一批的价格位置最高（Last-batch price position 0.608）。来源：论文表 8。

在 Gemstones 任务（一组为研究 Scaling Law 而公开训练的语言模型）上，这种方式体现得更加清楚。Opus 先用便宜的小规模实验，让模型规模、训练量和分组都有所变化，形成第一版公式；随后的每一次昂贵购买，都针对一个具体问题：规模放大后曲线是否成立？训练延长后是否趋于饱和？其中一次，它先用公式预测一个大规模实验的结果，再买下该实验核对，并据此修正公式。最终，Opus 只花了全量成本的 0.09% 到 0.66%，R² 就达到 0.95 到 0.99。

这很像科学家的经典路径：提出公式，验证，再修改。 昂贵的实验，是用来回答问题的。

不依赖 AI 的对照实验也指向同样的结论：在相同公式、相同成本下，在每组内覆盖不同价位的选点规则，明显优于从最便宜的买起。 与其在每个分组浅尝辄止，不如在组内覆盖不同价位、不同规模。

图 5｜在相同公式、相同成本下，预算不超过 5% 时，于每组内选取不同价位的规则在 63%—77% 的任务上优于只买最便宜的实验（c）；DeepSeek V4 Pro 的案例中，只买了 2 个点的 14 组贡献了 96.4% 的测试误差（b）；排名前四的系统以 4% 到 35% 的成本，超过了经典幂律使用全部数据拟合的 0.455（a）。来源：论文图 5。

迈向自主规划实验的 AI 科学家

科学研究的核心环节之一，是决定下一步做什么实验。Chinchilla 正是通过数百次精心设计的训练，得出了模型规模与数据量的最优配比，改变了整个行业训练大模型的方式。而这样的规划，至今几乎仍由人来完成。

AI 已经能够写代码、调参数、完成小规模实验，但科研中最困难的一步，是 自主规划实验 ：判断哪些实验值得做、先做什么、何时停下。SLDBench v2 把这一能力带进了考场。

这一关，今天的 AI 还没有通过。但表现最好的模型已经显露出科学家式的工作方式：先提出假设，再设计实验验证，然后修正。论文给出的下一步也很明确：选择实验时，应当关注哪些实验能够区分候选规律的对错，而不只是价格高低。

当 AI 能够自主规划实验，AI for AI 才能真正从小实验走向大实验。到那时，它研发的将不只是一个算法，而是下一代模型本身。