混合架构用线性注意力还是滑窗注意力?复旦创智OpenMOSS团队:我全都要
复旦团队提出混合位置架构,结合滑窗与线性注意力优势。通过引入滑窗线性注意力、对数校正及马太效应,优化模块互补,实现4k至64k长度16倍免训练外推,并在NIAH任务中保持100%准确率,为长上下文大模型高效设计提供新路径。
嘿咯图床 · AI 新闻频道
嘿咯图床的一句话AI新闻
嘿咯AI新闻是嘿咯图床旗下的 AI 新闻频道,每日聚合人工智能、大模型、AIGC 与 AI 产品动态,用一句话摘要帮你快速了解行业变化。
共 6222 条新闻 · 第 1 / 623 页
复旦团队提出混合位置架构,结合滑窗与线性注意力优势。通过引入滑窗线性注意力、对数校正及马太效应,优化模块互补,实现4k至64k长度16倍免训练外推,并在NIAH任务中保持100%准确率,为长上下文大模型高效设计提供新路径。
过去四周,OpenAI 的 Codex 用户几乎每隔一天就能收到一次额度重置。福利发到最后几天,账本收紧了。 OpenAI 帮助中心刚刚上线了一篇名为「 Understanding ChatGPT and Codex usage limits 」的文档,开头第一句就交代了变化: 从 12 月起…
飞捷科思联合复旦团队发布Fysiverse-UniWAM模型,无需大规模预训练,通过混合流架构统一导航及移动操作。该模型在基准测试中位置误差降低30.1%,多项真机测试表现领先,验证了共享骨干网络融合分散数据的有效性,为具身智能提供新路径。
AI算力扩张瓶颈扩至电力全链条。预计2030年全球数据中心用电翻倍至950太瓦时,但供应链错配及HBM短缺制约落地。云厂商转向现场发电与核电,能效提升引发杰文斯悖论,加剧电力设施与算力需求的节奏错配。
浙江大学等团队发布多智能体系统MAESTRO,协同气象、水文及应急领域,实现灾害预警快速转化为行动方案。测试显示其预警准确率达98.4%,研判耗时仅为专家流程的15%。系统已接入浙江省级应急平台,可将决策过程由数小时缩短至数分钟,显著提升灾害应对效率。
清华大学联合清屿科技推出自进化多物理场建模系统EvoSim。该系统突破传统AI仅调参局限,通过递归自我改进实现从追查偏差到修订方程,在电池快充等场景中预测精度超越人类专家。EvoSim为材料、化工等领域探索基于证据链协同进化的新科研范式,增强AI对微观物理世界的深层理解。
> Blue marble below(蓝色星球在下) Data streams in silent grace(数据悄然流转) Starlight feeds my core.(星光供养我的核心) Blue marble below(蓝色星球在下) Data streams in silent…
DeepSeek提出Super-agent架构,采用Router与Worker双层设计及事件驱动机制,支持跨信道交互、多任务并发及主动响应。该架构实现持久在线与异常自愈,将人类角色聚焦于高层决策,显著提升复杂任务处理效率,有效突破单会话Agent瓶颈。
谷歌发布T2J-Bench基准,涵盖63项PyTorch转JAX迁移任务,通过TwinHarness框架执行接地评估,重点检测数值精度与行为一致性。实验显示,该框架使Claude-Code迁移得分提升11.4%,优于基线且避免行为退化,为AI辅助跨框架迁移提供高效范式。
XHEART发布旗舰智驾芯片X7 Ultra,实测计算利用率98.7%,内存带宽降80%,每瓦性能翻倍。该芯片采用超大核NPU架构,支持高精度计算,确保模型输出相似度99.99%。已出货超20万颗,搭载10款量产车型,支撑千亿参数车端运行,助力L4级自动驾驶落地。