NeurIPS 2026 ED Oral丨Benchmark也有保质期?我们给158个评测基准打了分
伴随模型能力提升,模型评测也面临着新的挑战。 部分评测基准已接近饱和,模型分数越来越难拉开差距,跑分的参考价值也随之下降。哪些基准仍然有效,测出的分数还能说明什么?
嘿咯图床 · AI 新闻频道
嘿咯图床的一句话AI新闻
嘿咯AI新闻是嘿咯图床旗下的 AI 新闻频道,每日聚合人工智能、大模型、AIGC 与 AI 产品动态,用一句话摘要帮你快速了解行业变化。
共 6222 条新闻 · 第 2 / 623 页
伴随模型能力提升,模型评测也面临着新的挑战。 部分评测基准已接近饱和,模型分数越来越难拉开差距,跑分的参考价值也随之下降。哪些基准仍然有效,测出的分数还能说明什么?
Anthropic调整Claude订阅体系,将Max 20x更名为Ultra(200美元/月),解除已验证账户的5小时使用限制,改为每周额度制;原Max 5x更名为Max(100美元/月)。此举旨在消除额度误解,优化高频开发者体验,并推进后续更新。
OpenAI CEO Altman指出,个人PC本地运行AI模型内存利用率仅约5%,效率远低于数据中心。他主张集中部署内存,并透露公司正通过自研芯片及建设可自我复制的数据中心优化算力配置。此外,他建议利用AI重构架构应对漏洞风险,认为智能体团队协作优于单一超高智商AI,并呼吁行业摒弃“看不见的手”,聚焦提升每瓦智能性能。
港中大深圳等团队发布SLDBench v2,引入Active设定评测AI自主规划实验能力。测试显示,8个前沿模型在自主选择实验时预测误差扩大1.5至4.7倍。其中Claude Opus 5.5表现最佳,以4%全量成本通过集中投入关键实验,精度超经典公式全数据拟合结果,揭示了AI在实验探索策略上的局限性及优化方向。
在多轮工具调用与复杂环境交互中,大语言模型正加速以 Agent 形态落地。受限于前沿大模型高昂的推理成本,如何将其决策能力迁移至轻量级模型,成为当前 Agent 研究的重要课题。
无问芯穹推出GPU算子优化Agent框架,在NVIDIA SOL-ExecBench全球竞赛中登顶四大赛道并获88项单题第一。该系统通过隔离机制防止“奖励黑客”,结合Skills复用与共享Memory实现闭环迭代,能动态选择抽象层级并自主适应资源约束。该实践验证了国产Agentic Infra通过优化底层算力反哺AI系统,探索递归自我改进工程化落地的可行路径。
合肥乾原量子获超亿元天使轮,由12家机构及省市区三级国资投,补齐合肥量子版图中性原子空白。公司依托山大实验室,首创“中性原子QPU+QAVEXUS互联”路线,自研光镊及单原子操控,取得20秒相干时间、10万光镊阵列指标,聚焦多机协同,推动中性原子量子计算产业化。
近年来,随着大语言模型推理和使用工具的能力不断提升,Deep Search Agent 已具备一定的自主搜索与信息整合能力。越来越多的研究开始尝试让 Agent 自主规划搜索路径,处理需要跨越多个信息源的复杂问题。 但当 Deep Search 真正进入现实互联网,研究过程会变得复杂得多。
模型能力在变化,使用它的方法也需要跟着更新。 最近,Anthropic Claude Code 团队成员、谷歌前工程总监 Addy Osmani 发了一篇长文,谈到一个许多用户可能都有的习惯:给 Claude 写了太多提示和指令。 文章标题就开宗明义:你大概率一直在「过度提示」Claude。
训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。 今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。