Nature | 中科大structRFM：引入碱基配对关系，结构引导的可迁移RNA基础模型

作者丨论文团队

编辑丨ScienceAI

不断增加的 RNA 序列，为生物学带来了新的研究对象，也给 AI 提出了一个实际问题：在已知分子上训练的模型，面对新的家族和不同的任务，能否继续给出有用的判断？对于基础模型，学习结果能否被带到新的问题中，是衡量其价值的重要尺度。

近日，中国科学技术大学 MIRACLE 实验室的 structRFM 研究发表于《Nature》正刊，博士毕业生朱河勤为独立第一作者，周少华教授、熊鹏研究员为共同通讯作者。团队将 RNA 碱基配对关系用于序列预训练，并从零样本表示、结构、功能和新家族测试多个层面，考察这种知识的可迁移性。

论文题目：An open structure-guided RNA foundation model for generalizable prediction

论文链接：https://doi.org/10.1038/s41586-026-11210-2

代码与模型：https://github.com/heqin-zhu/structRFM

对 RNA 而言，新的研究对象可能既缺少实验结构，也缺少足够的功能标签。研究者希望利用已有数据中积累的知识，为它们提供一个初步分析起点。这样的工具需要在常见家族之外接受检验，也需要说明哪些能力来自预训练，哪些来自后续任务数据，才能把 “通用表示” 落实为可使用的方法。

可迁移的结构线索从哪里来

图 1 展示了数据与训练的衔接。面对实验结构稀缺、序列丰富的现实，团队提出 MUSES，集成 ViennaRNA、CONTRAfold、BPfold 的二级结构预测。热力学、概率模型和深度学习方法提供不同视角，集成用于缓解单一预测器偏差，最终构建约 2100 万条经计算注释的序列 — 二级结构配对数据。

这些配对关系被用于 SgMLM 预训练：选中一个参与配对的核苷酸时，相关位置可以被联合遮蔽，再让模型根据其余序列恢复。训练保留随机掩码，并动态增加结构引导策略的占比。配对因此成为影响学习难题的线索，模型需要综合不同位置的信息完成序列恢复。

图 1 中的基础编码器提供三类输出：序列特征用于分子级分类，核苷酸特征用于逐位置判断，成对特征用于两个位置之间的关系建模。预训练目标不绑定某一种下游输出，这使同一套表示能够被接入不同任务。structRFM 在其中探索结构知识参与训练的具体方式。

图 1｜structRFM 的训练与任务适配框架：MUSES 构建计算注释数据，SgMLM 让碱基配对参与掩码，三类特征连接结构与功能任务。

迁移之前，先看模型学到了什么

RNA 的二级结构规定哪些碱基相互配对、如何组成茎与环；三级结构规定这些单元怎样组织成三维构象。它们共同影响 RNA 在蛋白质合成、基因调控和分子识别中的作用。相同的四种核苷酸可以构成不同功能分子，模型需要学会区分其组织规律。

图 2 先在 23994 条、覆盖 19 个家族的 RNA 上观察预训练特征。t-SNE 投影中，structRFM 的不同家族分布较为清晰，随机初始化模型则更混杂。两个成对特征实例还显示，高响应区域与参考接触图中的配对有对应关系。前者观察整条分子的类别信息，后者观察两个位置之间的结构联系，分别检验表示的不同层次。

研究进一步从 Rfam 和 ArchiveII600 中抽取同源与非同源序列对，直接用预训练特征计算相似度，比较两类分布的重叠比例 OR。structRFM 在两个基准的 OR 约为 0.10、0.45，在 17 个 DNA、RNA 和蛋白质语言模型中均居前四。OR 衡量分布是否容易分开，这一设计避免专门训练分类器，因而更直接地检查基础特征。

图 2 的另一项零样本测试，把 116 条 PDB RNA 的注意力图用于配对预测。最佳注意力头的 INF 为 0.462，显示出一定的结构识别能力；同时，不同头和阈值的差异提醒研究者，模型内部的结构线索需要恰当读取。零样本结果与后续微调结果互为补充，分别回答 “预训练留下了什么” 和 “任务适配后能用到什么”。

家族聚类、同源性区分和配对识别也各有侧重。聚类展示分子在表示空间中的组织，同源性分布给出群体间的定量区分，配对图则把分析推进到两个核苷酸之间。将三者放在一起，可以避免仅凭一幅可视化就判断模型理解了 RNA，也让后续迁移实验有更明确的参照。

图 2｜预训练表示与零样本评估：RNA 家族分布、成对特征、同源性分布和注意力图，从不同尺度检验模型学习到的关系。

让结构任务检验这种知识能否复用

图 3 的二级结构模块把核苷酸特征与序列编码结合，经结构模块评分和动态规划确定配对。ArchiveII600 与 bpRNA-TS0 上的 INF 分别为 0.890 和 0.669；相对没有结构引导预训练的对照，分别提高 4.46% 和 6.19%。两套测试覆盖不同数据分布，因而能检验方法是否只在某一种划分下有效。

进一步的分家族分析显示，结构引导版本在样本数较多的八个家族上获得更高 INF，长序列较多的 23S rRNA 仍是难点。图 3 还为每条测试 RNA 计算与训练集的最大相似性，并与配对精度对照。线性关系较弱，提示训练相似性只解释了部分差异；家族结果与逐序列结果共同补充了总体平均分。

三级结构适配则复用另一类输出。团队在 trRosettaRNA 中以 structRFM 成对特征替换原预测接触图，结合多序列比对，预测距离、朝向等几何约束，再形成三维构象。这一 Zfold 流程说明，二级配对引导预训练获得的表示，可以作为更高层次空间建模的输入。

在 CASP15 天然 RNA、CASP16 和 RNA-Puzzles 上，Zfold 的平均 TM-score 分别为 0.45、0.33 和 0.58，并在多种指标上优于对应消融版本和原 trRosettaRNA 配置。图 3 还并列展示预测构象、参考构象和提取的配对关系，展示整体折叠改善是否伴随局部配对的保留。

二级与三级任务的连接具有生物学上的依据：茎与环限制了整条 RNA 可以采取的空间构象，而空间中的接触又能检验配对是否成立。图 3 利用两种任务共同观察预训练特征，使迁移能力的证据不局限于一个分类标签。代表性构象则把抽象分数与具体的折叠差异联系起来。

图 3｜二级与三级结构预测：展示任务架构、总体与分家族结果、训练相似性分析，以及预测构象与参考结构的比较。

新的家族、较少同源信息与更长的输入

新家族提供了一种贴近真实使用的测试。研究从预训练数据发布后新增的 Rfam 家族中整理 436 条 RNA，再用分别在 RNAStrAlign 和 bpRNA-1m 上微调的模型预测二级结构。图 4 报告的 INF 为 0.648 和 0.698，并将精度与微调集相似性一同分析。时间上后出现的家族，为常规测试之外的泛化能力提供了证据。

对于三维预测，图 4 把 TM-score 和配对精度与训练相似性关联，部分低相似性目标仍能保留较好的结构结果。团队还比较直接二级预测和三维构象提取的配对，检验两种途径能否保留相近的结构信息。这些检查让 “迁移” 落到可以核验的配对关系与空间形状上。

图 4 同时报告缠绕与立体化学分析：多数目标在多数缠绕类别上为零，未发现打结伪影，键角和平面性误差仍较常见。长序列测试则采用分段适配，在人和小鼠长非编码 RNA 上，重叠窗口分类 F1 均超过 0.94。新类别、三维质量和输入长度分别考察不同条件下的适用性，不能仅由一个平均指标替代。

图 4｜结构质量与适用范围：分析训练相似性、二级与三级结构的配对表现、缠绕及立体化学，并测试新家族和长非编码 RNA。

新家族测试与常规训练测试划分回答的问题也有所不同。常规测试检查既定任务上的表现；按数据库更新时间选取新家族，更接近模型部署后遇到新增对象的情形。将这些序列与微调数据的相似性一同报告，可以判断测试对象距离既有经验有多远，以及模型在这种距离下保留了多少配对能力。

从结构标签迁移到生命过程

图 5 将评估扩展到功能相关任务。剪接位点预测识别前体 RNA 加工中的供体与受体位置；IRES 识别寻找能够介导非帽依赖翻译起始的元件；非编码 RNA 分类判断整条分子所属类别。模型分别接入逐位置或序列级任务头，使预训练表示能够适配不同的生物问题。

结果中，剪接位点平均 top-k accuracy 为 0.416，IRES 识别 F1 为 0.701，13 类非编码 RNA 分类 F1 为 0.979。图 5 用逐位置响应观察供体、受体和背景的区别，用 PR、ROC 及多指标比较检验 IRES 识别，用分类别 F1 检查收益是否覆盖不同 RNA。部分低频类别的改善也说明，表示的用途并不完全由预训练中占比最高的家族决定。

图 5 还检查分类置信度与训练相似性的关系。IRES 与非编码 RNA 任务中，两者的线性联系都较弱，为理解模型在不同任务中的适用性提供了补充观察。针对长 RNA，图中的截断、无重叠窗口和重叠窗口对应不同的信息保留方式；50% 重叠让相邻片段共享上下文，取得最好的分类结果，从方法上解释了图 4 的长度扩展。

这些功能任务涉及的分子背景也不同。预训练主要学习非编码 RNA，剪接任务却来自前体 RNA，IRES 关注翻译起始元件。特征能够在这些任务中继续使用，意味着训练所得信息可以通过微调适应不同用途。研究据此把结构引导的价值从配对预测扩展到功能相关推断，并用各自的数据标签检查结果。

图 5｜功能任务与长序列处理：展示剪接位点、IRES、非编码 RNA 分类、预测相似性分析，以及三种序列分段策略。

沿着结构知识继续积累

未来，序列还可以与三维构象、相互作用、功能注释及自然语言建立更紧密的对应，再通过具体任务检验新增信息的价值。structRFM 为这一方向贡献了一步：从清晰的分子关系出发，让结构知识在多种生物问题中得到利用。