让模型学会图文并茂地表达：南大联合美团LongCat提出IntReal，从真实数据、细粒度评测到训练优化

现有的统一多模态模型（UMMs）已经具备了生成图像与文本的能力，但如何让它们在真实场景中图文并茂地讲故事、写教程、做旅行攻略？随着文本与图像生成、图像编辑能力的不断提升，图文交错生成正成为统一多模态模型值得深入探索的一项挑战。让UMMs学会图文交错生成并不容易：高质量训练数据不足，细粒度评测体系尚不完善，相关训练经验也有待积累。针对这些问题，近日，南京大学模式识别实验室（PRLab）的余绍函在司晨阳教授的指导下，联合美团LongCat、帝国理工学院、新加坡南洋理工大学S-Lab提出IntReal，从数据构建、细粒度评测与训练优化三个角度展开探索，为图文交错生成提供实用的数据资源、评测工具与训练参考。

论文地址： https://arxiv.org/abs/2610.38425/

项目主页： https://yushaohan.github.io/IntReal/

开源数据集： https://huggingface.co/datasets/yushaohan/IntReal-100K/

Github地址： https://github.com/yushaohan/IntReal

一、从真实内容到生成数据：高质量图文交错数据如何构建？

图文交错数据并不少见，网页里的百科文章、旅行攻略和菜谱都是天然的来源。已有不少数据集收集这类内容，用于训练视觉语言模型（VLMs）的多模态理解能力。但要用这些数据训练模型生成图文，质量要求就更高了：图片需要清晰美观，同一序列中的图片不能过于重复，还要与前后文保持较高的一致性。因此面向理解任务的数据，并不可以无缝进入生成式训练。为此，IntReal围绕旅行规划、知识讲解、烹饪教程和故事创作四类场景，收集了百万级图文交错数据，并通过四个步骤进行筛选、润色与标注：

- 基于元数据的过滤： 检查图像分辨率、长宽比和文件格式等基本信息，剔除包含不符合要求图像的样本。

- 基于表征分类器的过滤： 使用图像质量评估模型RALI剔除包含低质量图像的样本，结合基于SigLIP2训练的分类器过滤水印、人脸等内容，并通过DINO表征识别同一序列中的近重复图像，提高图像质量与序列内的多样性。

- 基于VLM的图文一致性润色： 使用Qwen3.5-397B-A17B为每张图像生成描述，再结合上下文润色原始文本。润色时优先保留原文中的事实与信息，以图像描述作为补充，改善图文一致性。

- 基于LLM的标注： 使用Qwen3.5-397B-A17B，根据整理后的内容及其类别生成用户提示词与推理过程，将真实内容转化为可用于指令微调的训练样本。

经过上述流程与类别均衡采样，最终得到IntReal-100K，包含十万条图文交错样本、超过53万张图像。整个流程仅保留了原始数据池中约10%的样本，在保留原始内容核心信息的同时，提高了图像质量与图文一致性，为统一多模态模型的交错生成训练提供数据支持。

二、从整体打分到细粒度诊断：评估交错生成，一个VLM还不够

一份图文交错的回复，可能图片很好看，文字却空洞，也可能每张图单独看都不错，连起来却重复、偏离上下文。只给整段回复一个总分，很难看清模型究竟哪里做得好、哪里还需要改进。不同维度也需要不同的评估工具：文本是否符合逻辑、图像是否美观、主体是否一致，很难仅靠一个VLM全面衡量。为此，IntReal评测套件结合LLM、VLM、图像质量评估模型与视觉表征模型，对不同能力分别评估，并设计了两种互补的设置：一是让模型根据用户请求生成完整的图文交错回复，观察整体表现；二是固定真实的图文交错上下文，让模型生成下一张图像，在相同条件下比较模型对上下文的理解与生成能力。IntReal主要评估7个维度：

- 文本丰富度： 针对同一个提示词，让LLM在不知晓文本来源的情况下，对比生成文本与真实文本的丰富程度及信息量。

- 文本逻辑性： 让LLM检查生成文本是否存在事实错误、前后矛盾或逻辑不一致。

- 图像美学： 使用图像质量评估模型RALI，衡量生成图像的美学质量。

- 图像多样性： 使用DINO表征比较相邻生成图像，识别图像过于相似、未能随内容推进而变化的问题。

- 指令遵循度： 要求模型生成与真实样本相同数量的图像，检查实际生成数量是否符合要求。

- 图文一致性： 针对固定上下文生成下一张图，根据前文构建具体的视觉检查项（Rubrics），由VLM检查生成图像是否满足这些要求，判断其是否忠实于上下文。

- 主体一致性： 使用DINO表征比较生成图像与对应参考图像，衡量故事角色、烹饪食材等关键主体是否保持一致。

这些指标能否提供可信的诊断？IntReal从三个方面进行了验证：

指标是否互补？ 在样本层面计算七个指标之间的两两相关性，最大斯皮尔曼相关系数绝对值不超过0.42，表明指标之间冗余较低，能够提供互补的评估视角。 评测是否符合人的判断？ 在参与人工验证的指标上，自动评测与人工判断的平均一致率达到83.3%，支持了评测结果的可靠性。 结果是否依赖单一评测模型？ 替换LLM/VLM评估器后，相关评测结果的斯皮尔曼相关系数仍大于0.9，表明结果在不同评估器下具有较高一致性。

三、IntReal实战：现有统一模型的交错生成能力如何，怎样提高？

(1) 交错能力评估：模型各有所长，文本能力仍是明显短板 IntReal系统地评估了四类交错模型，包括NanoBanana2，SenseNova-U1、Bagel和Emu3.5，发现：

- 不同的模型各有所长： 闭源模型NanoBanana2的单模态生成能力更强，但在图文一致性图像多样性上表现一般。U1具备更强的指令遵循度与图文一致性，经过训练后的Bagel可以生成美丽的图片，Emu3.5则在开源模型内具备最强的文本逻辑性。这说明，单独具备较强的文本与图像生成能力，还需要进一步针对交错场景进行优化。

- 开源模型与闭源的差距在文本模态： 相比图像美学，开源模型在文本丰富度与文本逻辑性上的差距更为明显。结合已有统一模型的扩展研究，扩大语言侧模型容量可能是值得探索的方向。

(2) 交错生成训练：从监督微调到图像生成强化学习 有了数据与评测，下一步就是检验它们能否帮助模型提升能力。IntReal以Bagel和SenseNova-U1为对象，探索了监督微调与强化学习相结合的训练路线：

- 监督微调： 用IntReal-100K训练后，SenseNova-U1的文本丰富度、文本逻辑性与主体一致性分别相对提升29.04%、6.68%和6.53%，但图像美学与图文一致性有所下降。这说明，图文交错监督微调对不同能力的影响并不一致。

- 生成强化学习： 团队进一步采用Flow-GRPO，在给定图文交错上下文的条件下优化下一张图像的生成，并将图像质量、视觉表征相似度与上下文检查项作为奖励信号。优化后，SenseNova-U1与Bagel的图像美学和图文一致性均得到改善。经过SFT与RL两阶段训练的SenseNova-U1，在本次评测的开源模型中取得了最高综合得分。

结语

IntReal围绕数据、评测与训练三个方面，为提升统一多模态模型的图文交错生成能力提供了实用资源与实验参考：

- 数据上 ，开源IntReal-100K，提供十万条可直接用于训练的高质量样本，并给出从真实内容出发、经过四阶段筛选与标注构建交错生成数据的可行流程。

- 评测上 ，构建覆盖七个能力维度的IntReal评测套件，通过指标互补性、人机一致性和评估器鲁棒性三方面验证其可靠性，帮助识别模型的优势与短板。

- 训练上 ，探索先监督微调、再进行图像生成强化学习的训练路线，缓解部分图像能力在微调后的下降，并发现在交错上下文中专项优化图像生成，也能改善整体交错生成表现。