aiwiki.page
中文
科学 / 生物 / critical-assessment-of-protein-structure-prediction · 事件

蛋白质结构预测关键评估

蛋白质结构预测关键评估(CASP)是一项定期开展的国际实验,以对预测者保密的实验结构独立评估计算预测方法。

24 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
蛋白质氨基酸分子生物学蛋白质结构预测蛋白质折叠X射线晶体学核磁共振冷冻电子显微镜技…蛋白质结构…

**蛋白质结构预测关键评估(Critical Assessment of Protein Structure Prediction,CASP)**是一项由国际科研共同体组织的实验,用于评估预测蛋白质三维结构的方法;部分届次还评估其他生物分子及其复合物的结构预测方法。CASP 创立于1994年,通常每两年举办一次,将提交的预测结果与实验测定的结构进行比较,而这些实验结构在预测时尚未公开。它的核心贡献在于前瞻性的盲评:各种方法必须在此前未见过的目标上展示性能,而不能只在开发者自行挑选的实例上接受检验。

科学目的

蛋白质的氨基酸序列约束着其三维结构,而三维结构又有助于决定其生化活性及相互作用。根据序列预测结构是分子生物学的核心问题之一。实验结构测定往往需要投入大量精力,而已有序列数据的蛋白质数量远多于已完成结构表征的蛋白质。

蛋白质结构预测与蛋白质折叠问题相关,但两者并不相同。预测方法可以准确给出最终结构,却不一定重现蛋白质折叠的物理路径或时间尺度。

在 CASP 出现之前,不同预测方法之间的比较常受到多种因素干扰,包括测试集不同、评分标准不一致,以及开发者可能已经接触过待预测结构的相关信息。CASP 建立了共享的评估框架,采用统一的目标、截止时间和独立评价程序。

CASP 常被称为一项竞赛,但其更广泛的目的是评估方法。排名有助于识别表现优异的方法,而对成功与失败的分析则揭示了哪些结构问题仍然难以解决。

评估如何开展

目标的征集与发布

实验研究人员提供已经测定或预计能够测定、但尚未公开的结构。这些结构成为评估目标。参考结构通常来自X射线晶体学、核磁共振或冷冻电子显微术。

预测者会获得目标序列及相应任务允许使用的信息。视类别而定,这些信息可能包括各组分的序列、化学身份或指定的实验信息。预测者必须在截止时间之前、且在参考结构公开之前提交预测结果。

并非所有已发布的目标都会纳入最终评估。例如,如果实验结构未能及时获得,或信息公开破坏了盲评条件,相关目标就可能被排除。

预测结果的提交

CASP 区分自动化服务器预测与可能有人为干预的提交结果。自动化服务器须遵守规定的提交规则和截止时间。人工辅助团队则可以整合计算输出、检查候选结构,或筛选并优化模型。

这两种模式回答的是不同的问题。服务器评估检验自动化工作流程,而人工辅助评估则可以揭示,在专家解读和额外投入下能够达到怎样的水平。团队在提交模型中选出的首选模型同样具有参考价值:生成一个好的候选模型,并不等于能够可靠地识别出它就是最佳预测。

独立评价

提交截止后,评估者将预测结果与实验结构进行比较。评估期间可以隐去预测者的身份,以减少声誉带来的偏见。

评估者会结合数值评分、结构特征和目标难度进行考察。单一的综合排名无法显示一种方法究竟是在简单目标上取得成功,还是捕捉到了陌生的折叠类型、正确放置了不同结构域,或重建了相互作用界面。

每轮评估以科研共同体的讨论和评估报告的发表告终。这些报告记录预测表现、方法进展以及尚未解决的问题。

预测任务与类别

随着方法和科学研究重点的发展,CASP 的类别也不断变化。因此,不应将不同届次的类别视为永久固定或可以直接等同的分类。

单个蛋白质的结构

传统上,蛋白质结构预测分为基于模板的建模和自由建模。

基于模板的建模以实验测定的相关蛋白质结构为指导。其难度不仅取决于是否存在模板,还取决于能否识别相关关系、正确进行序列比对,以及对不同于模板的区域进行建模。

自由建模针对缺乏有用结构模板或难以识别模板的目标。过去,这类任务尤其具有挑战性,因为方法必须在直接结构指导十分有限的情况下推断整体结构。

随着机器学习系统将序列信息、进化关系以及从大型结构数据集中学到的知识结合起来,两者之间的界限已不再那么清晰。CASP 的类别描述的是评估条件和目标难度,不一定对应底层算法之间泾渭分明的划分。

蛋白质组装体与分子复合物

许多蛋白质以组装体而非孤立单链的形式发挥作用。预测复合物不仅需要预测各组分的形状,还需要确定它们如何排列。

评估可以考察亚基的折叠、相对取向、接触界面以及整体组装架构。一个模型即使包含准确的单链结构,也仍可能错误地重建复合物。

抗体与其结合伙伴之间的相互作用就是这类难题的一个例子:成功的预测不仅要求组分结构准确,还要求准确识别结合表面及其几何形态。

其他任务

不同届次的 CASP 还纳入或发展了以下评估任务:

  • **模型优化:**改进已有的结构模型。
  • **模型准确度估计:**在无法获知实验结果的情况下,预测哪些模型或区域可能是正确的。
  • **接触与距离预测:**估计残基之间的空间关系。
  • **RNA 结构预测:**将盲评扩展至RNA,其结构组织方式与蛋白质不同。
  • **蛋白质–配体建模:**预测包含已结合配体的结构,包括配体在结合位点内的位置。

这些任务需要不同的评价标准。蛋白质主链预测出色,并不自动意味着配体几何形态或 RNA 折叠也能预测准确。

结构准确度的衡量指标

CASP 使用多种指标,因为结构准确度具有多个维度。描述整体折叠的评分可能掩盖活性位点中的错误,而局部评分也未必能充分反映大型结构单元的相对位置。

均方根偏差

均方根偏差(RMSD)衡量对应原子之间的坐标差异,通常在结构叠合后计算:

RMSD=1N∑i=1N∥xi−yi∥2,\mathrm{RMSD} = \sqrt{\frac{1}{N}\sum_{i=1}^{N} \left\|\mathbf{x}_i-\mathbf{y}_i\right\|^2},

其中,NN 为匹配原子的数量,xi\mathbf{x}_i 和 yi\mathbf{y}_i 为这些原子在叠合后结构中的坐标。

RMSD 直观易懂,但可能被少数较大的偏差主导。即使模型的大部分区域准确,一个柔性环区或发生位移的结构域也可能使其数值很大。

全局距离检验

全局距离检验总分通常称为 GDT_TS,概括了通过结构叠合后,距离能够分别落在1、2、4和8埃阈值内的对应残基比例。将这些百分比取平均值,即得到通常以0至100表示的评分。

与 RMSD 相比,GDT_TS 对少数极大的坐标误差不那么敏感,因此成为 CASP 评估中的一项重要指标。相关指标 GDT_HA 采用更严格的距离阈值,着重衡量高准确度建模。

局部准确度

局部距离差异检验(lDDT)评估局部原子间距离得到保留的程度,而不要求进行单一的全局结构叠合。当需要将局部结构质量与较大结构单元的相对运动或位置区分开来时,这一指标很有用。

其他指标用于评价侧链位置、立体化学、残基接触和分子界面。复合物预测需要对界面敏感的评分,因为单体结构正确并不意味着组装体也正确。

准确度与置信度

经实验评估的模型准确度不同于模型自身预测的置信度。置信度指标在不知道参考结构的情况下估计模型的预期可靠性。

例如,AlphaFold 使用预测 lDDT,即 pLDDT,作为局部置信度指标。它与通过比较预测结构和实验结构计算得到的 lDDT 并不相同。置信度评估要考察的是,这些估计值能否可靠地区分正确与错误的区域。

历史发展

早期评估

首届 CASP 实验于1994年举行。早期几届将盲评确立为科研共同体切实可行的标准,并揭示了两类任务之间的差距:一类是对存在近缘结构的蛋白质成功建模,另一类则是难度大得多的陌生折叠预测。

这些评估还表明,仅有一个有用的模板并不足够:模板识别、序列比对和模型构建中的任何一个环节都可能限制准确度。

进化信息与深度学习

后来的进展利用了序列变异之间的相关模式。在折叠后的蛋白质中发生相互作用的残基,可能在进化过程中表现出相关变化,从而提供空间邻近关系的线索。

深度学习大幅提升了提取和利用这些信号的能力。相关方法从预测接触关系,逐步发展到预测距离分布、取向以及越来越完整的结构表示。CASP 提供了定期检验的机会,用以判断这些进展能否推广到此前未见过的目标。

AlphaFold 在 CASP13 和 CASP14 中的表现

在2018年的 CASP13 中,第一代 AlphaFold 系统展现出重大进步,尤其是在模板指导有限的困难目标上。

在2020年的 CASP14 中,AlphaFold2 又取得了大幅提升。对于许多接受评估的蛋白质结构域,其预测准确度已接近实验测定结构的准确度。这一表现证明,与早期方法所展示的能力相比,在广泛得多的目标上实现基于序列的高准确度预测是可能的。

这一结果并不意味着所有蛋白质、分子状态或相互作用都能被可靠预测。它使研究重点转向尚存的难题,包括复合物、构象变化、无序区域以及对置信度的可靠解读。

2022年的 CASP15 和2024年的 CASP16 在这一已发生变化的方法学背景下继续开展评估,并日益关注组装体和更广泛的分子建模任务。

科学影响

CASP 为评估有关方法性能的主张提供了共同基础。其前瞻性设计使人们更难通过挑选有利实例,或针对已知测试集反复调优,来展示表面上的进步。

它的影响不限于排名:

  • **基准测试设计:**统一的目标和独立评估改善了方法之间的可比性。
  • **研究重点:**反复出现的失败揭示出那些无法由醒目的准确度指标反映的问题。
  • **准确度估计:**评估将生成看似合理的结构与判断这些结构何时可靠区分开来。
  • **实验解读:**优质预测可以辅助结构测定和实验数据解读。
  • **科研共同体协作:**预测者、评估者和实验结构生物学家在共同的评价框架下开展工作。

CASP 与蛋白质数据库相互补充,而非取而代之;后者负责存档实验测定的生物大分子结构。CASP 是一个评估过程,既不是全面收录预测结果的数据库,也不是为单个模型提供认证的体系。

局限与解读

实验结构是有条件的参照

实验结构反映的是特定条件下的分子,并受测量和建模程序的局限所约束。蛋白质可能采取多种构象,某些区域也可能处于无序状态或无法解析。

因此,与参考结构不一致,可能源于预测错误、不同的构象状态,或实验模型本身的歧义。这并不削弱比较的价值,但要求关注参考结构的具体背景及其测量不确定度。

目标选择并非对所有情况的普遍抽样

CASP 的目标取决于实验团队在某一轮评估期间能够提供哪些结构。它们并不是对所有蛋白质、复合物或生物学条件的随机抽样。预测表现可能随序列家族、分子大小、结构新颖程度和相互作用类型而变化。

因此,不应将某一届或某一类别的结果解读为普遍适用的成功率。

盲测无法消除所有偏差来源

不公开目标结构可以减少直接的数据污染,但相关序列和结构可能已经存在于公共数据库或训练数据中。各目标的新颖程度不同,而数据库的快速变化也使不同时期开发的方法之间难以比较。

有意义的解读需要关注可用信息、目标难度以及具体评估的规则。

静态结构准确并不等于完整理解生物学

一个高度准确的模型,本身并不能确立生化功能、结合亲和力、反应机制或每一种突变的影响。它也未必能够描述构象群体、折叠动力学或细胞环境引起的变化。

整体结构评分还可能掩盖一些局部错误,而这些错误对催化或分子识别的影响可能格外重大。CASP 衡量的是预测性能中明确定义的若干方面;这些测量结果并不能确证模型的每一种下游用途都有效。