推理成本直降78%！aiXcoder开源aiXcompact-4B模型，接手Agent上下文压缩任务

当编程Agent任务越来越复杂，执行链路越来越长，Token开销也随之翻涨。如何有效控制Token成本，成为AI规模化落地亟待解决的工程难题。

开源地址：github.com/aixcoder-plugin/aiXcompact-4B

11月11日，孵化自北京大学软件工程研究所的aiXcoder开源「上下文压缩专用模型」aiXcompact-4B，面向编程Agent的长程复杂研发任务场景，支持单张A100-40GB显卡私有化部署。

根据aiXcoder公布的数据，在Terminal-Bench基准测试集上，将aiXcompact-4B接入OpenCode测试上下文压缩任务效果显示，aiXcompact-4B相对于DeepSeek-V4-Pro整体任务完成准确率并未下降。私有化部署情景下，在针对特定任务的Benchmark上，相对于DeepSeek-V4-Pro，aiXcompact-4B单次GPU推理成本直降78%。

不同于Claude Code、OpenCode等主流Agent Harness（智能体执行框架）直接调用通用大模型进行上下文压缩的方式，aiXcompact-4B以更低成本接手这项高频工作：精简Agent不断累积的历史上下文，保留后续任务需要的必要信息，同时降低压缩本身及后续重复输入的Token开销。

采用API调用方式，根据公开API费用代理估算，aiXcompact-4B单次上下文压缩请求的Token费用为0.019元。相对DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max的参考费用，分别降低97.30%、97.08%和97.98%。aiXcompact-4B以单次API调用费用降低97%的成本优势，为高频上下文压缩提供了更轻量化且更经济的选择。

上下文压缩后，Agent需要反复读取的历史上下文也随之减少。在目标任务场景下，aiXcompact-4B 可将历史上下文平均压缩至原长度的25.89%，为下一轮Agent调用腾出足量的上下文空间。

这项开源呈现出一种更细化的模型分工：将高频、边界明确的上下文压缩任务交给专用小模型，让通用大模型集中处理需求拆解、复杂推理与架构设计等任务，以此减少辅助环节的资源消耗，并保证任务实现效果。

平均消耗417万Token，编程Agent为何如此“费Token”？

随着Claude Code、Codex等AI编程工具被用于更复杂的研发任务，Agent需要持续读取代码、调用工具、执行测试，Token开销也随之走高。

一项基于OpenHands框架、覆盖8个前沿模型的研究发现，在SWE-bench Verified实验中，智能体编程任务的平均Token消耗约为417万，是单轮代码推理的3500倍、多轮代码对话的1200倍，其中输入Token占据绝大部分消耗。

这与Agent的工作方式密切相关。例如，给企业现有系统增加用户注册功能，Agent需要先了解项目结构、查找用户管理与鉴权逻辑，再修改文件、运行测试，并根据报错继续调整。在此过程中，代码、检索结果和执行日志不断进入上下文，成为后续工作的依据。同一批历史信息可能在多轮推理中被反复输入，随着执行步骤增加，重复输入带来的Token开销也持续累积。

成本之外，早期需求、关键约束和已确认的技术决策混杂在大量中间记录中，还可能增加Agent遗漏重要信息、丢失调试线索的风险。

因此，上下文压缩成为控制Agent运行成本、支撑长任务持续执行的重要工程环节，即从持续增长的Agent运行轨迹中保留关键信息、精简冗余内容，减少重复输入的Token消耗，将更多上下文空间留给当前代码、最新反馈和后续决策，让Agent更高质量完成复杂的长程研发任务。

aiXcompact-4B结构化压缩，减少上下文重复Token开销

编程Agent的上下文具有明确的角色与结构：开发者提出需求，Agent分析问题、调用工具，工具再返回文件内容或执行结果。对需要持续执行任务的Agent而言，压缩太少，节省不了多少上下文；压缩太多，又可能丢失历史关键步骤，破坏代码、工具调用的结构化信息。

有效的压缩既要理解信息内容，也要保留这些上下文之间的关系。据aiXcompact-4B开源项目介绍，该模型采用结构化判别机制，对历史轨迹生成三类处理决策。

- 第一类，保留关键原始信息。 对于开发者的核心需求、关键约束和重要决策等信息，可能决定后续代码修改的方向，不适合随意删减。aiXcompact-4B选择完整保留原始消息，减少关键限定条件在改写过程中被弱化的风险。

- 第二类，精简工具返回结果。 文件读取、代码搜索和测试运行往往返回大量内容，但下一步工作可能只需要其中一部分。aiXcompact-4B会保留工具调用，用精简文本替换冗长的原始输出，既减少输入Token，也能留下继续定位问题、修改代码所需的线索。

- 第三类，删除失去参考价值的记录 。对于重复内容或不再需要的中间输出，aiXcompact-4B会选择删除，并配套校验动作，检查其中的关键业务、调试信息是否已保留在任务摘要中。

完成信息筛选后，模型还会生成结构化任务摘要，记录用户意图、关键技术信息、错误与修复过程，以及当前工作和待办事项。最终输出是一套可供Agent继续执行的消息序列，维持工具调用与返回结果的配对关系。

从其工作原理来看，aiXcompact-4B并不是直接把上下文缩短或简单概括成一段摘要。它会区分哪些信息不能丢、哪些信息可以精简、哪些信息已经不再有必要，并兼顾压缩后的可执行性。其核心是在减少重复Token消耗的同时，保留后续Agent完成任务所需的必要上下文与结构。

用 真实研发轨迹 训练 ， 小模型压缩指标 接近DeepSeek-V4-Pro4B

一个4B参数模型，如何学习判断复杂研发记录中的信息价值？

支撑这项能力的，是aiXcompact-4B采用教师大模型蒸馏、4B学生模型LoRA微调与结构化压缩决策相结合的训练技术路径。

据aiXcoder介绍，其训练数据全部来自真实研发场景下的Agent运行轨迹。团队先对轨迹进行归一化、过滤筛选和压缩触发点采样，再由教师模型生成参考压缩决策。

这些参考结果经过样本校验与筛选后，用于学生模型的专项训练，使其学习如何结合研发进度处理历史上下文，以及如何在任务摘要中保留后续工作的依据。

从技术分工看，蒸馏将教师大模型在这一任务上的处理能力迁移到专用学生模型中，LoRA微调则围绕压缩场景进行适配。结构化决策进一步约束了能力的输出形式，使其能够对接Agent的消息与执行流程。

在aiXcoder公布的上下文压缩专项评测结果中，aiXcompact-4B在规则综合分、信息保留等关键指标上，高度接近DeepSeek-V4-Pro的历史参考表现。

大小模型分工细化 ， 适配 企业级私有 部署和工程落地

当企业智能化软件开发步入深水区，不同研发环节对模型能力的要求逐渐分化，也为更细致的模型分工提供了空间。如何让不同模型承担适合的任务，在保障完成质量的同时减少Token消耗、提高算力利用效率，是企业落地AI研发需要持续解决的工程问题。

对此，aiXcoder推出“大模型+小模型”协同的解决方案：让大模型聚焦需求拆解、复杂逻辑推演和架构设计，将边界相对清晰、调用频次高的专项工作交给专用小模型。由此降低企业算力使用成本，解决企业落地AI研发时算力成本高的现实难题。

据了解，aiXcompact-4B并非aiXcoder推出的首个专用小模型。aiXcoder持续践行“场景定义模型”理念，面向不同领域的业务场景与具体任务需求，构建专业化模型矩阵。在软件研发领域，aiXcoder已推出面向代码生成与补全的aiXcoder-7B、面向代码变更应用的aiXapply-4B，以及面向Token消耗优化的aiXpruner-4B等模型。此外，aiXcoder即将推出面向Agent决策环节的aiXdecision模型，专注于智能体执行过程中的判断与决策支持，进一步拓展专用模型的应用边界。

此次开源aiXcompact-4B，则将模型矩阵进一步拓展至Agent上下文管理环节，体现了aiXcoder从具体场景和任务需求出发定义模型能力，通过大小模型协同支撑不同领域复杂任务的技术路线。