aiwiki.page
中文
计算机 / 人工智能 / mechanistic-interpretability

机制可解释性

机制可解释性通过识别神经网络内部的表征、回路和因果机制,研究其如何实现计算。

29 个关键词5 个词条链接到这里5 个尚未撰写AI 撰写
人工神经网络可解释人工智能大语言模型软件工程机器学习因果关系表征学习计算机视觉机制可解释…

机制可解释性是一种研究方法,旨在通过识别训练好的人工神经网络内部各组件所实现的表征与计算,解释网络如何产生输出。它不只是将模型视为从输入到输出的数学映射,而是探究特定的活动模式、连接和计算路径如何产生模型行为。其核心目标是构建能够通过干预模型内部来检验的解释。

这一领域属于可解释人工智能,但尤其注重对模型学到的算法进行逆向工程,并确立内部计算与可观测行为之间的因果关系。它在大语言模型研究中尤为突出,因为这类模型的能力并非通过显式编程赋予,人们对其内部组织方式的理解也仍然有限。其应用包括对学习过程的科学研究、调试,以及对模型可靠性与安全性的评估。

机制层面的解释可以描述单个特征、负责某种界定明确的特定行为的小型回路,也可以描述由众多组件共同实现的、更抽象的算法。这些层面的解释相辅相成:识别信息出现的位置,不等于揭示信息如何被使用;解释某一种行为,也不等于理解整个模型。

解释的范围与标准

在传统的软件工程中,程序的行为往往可以追溯到为特定目的编写的指令。而在机器学习中,训练则通过调整参数,降低模型在样本上的目标函数值。最终得到的参数值编码了各种过程和表征,它们未必与定义任务时使用的概念相似。机制可解释性所要弥合的,正是训练目标、模型学到的实现方式与外部观察到的行为之间的鸿沟。

因此,必须谨慎界定解释的对象。研究者可能会问:为什么某个输入产生了某个回答,模型如何完成某一类任务,或者某种能力为什么会在训练过程中涌现。这些问题需要不同的证据。对某个回答的局部解释,或许能找出影响较大的激活,却未必能揭示可复用的算法。算法层面的解释应当能说明一系列输入下的行为,其中也包括专门为区分该解释与其他竞争假说而设计的输入。

一种常见的分析单位是神经网络回路,即一组共同实现某种可辨识计算的组件及其连接。这些组件可以是单个神经元、注意力头、激活空间中的方向,也可以是更大的模块。对回路的描述通常会说明这些组件表征了什么信息、这些信息如何被变换,以及变换结果如何影响输出。回路是一种分析性抽象,并不一定是物理上独立的子网络。

机制性解释的粒度也各不相同。一个极端是完整记录模型执行时的数值运算:这种记录详细交代了每一步操作,却几乎没有在概念层面加以提炼。另一个极端是“模型识别出了主语”这样的说法:它或许容易理解,却没有说明具体的实现方式。有用的解释会将这些层次连接起来:既描述一种可理解的计算过程,也指出模型通过哪些操作实现了这一过程。解释是否充分,取决于它要回答的问题,而不是取决于它是否满足了描述每个参数这一普遍要求。

一个核心区别在于相关性与因果关系。某种激活可能与某个概念相关,是因为它参与了对该概念的识别,也可能是因为另一项计算同时产生了二者,还可能是因为它记录了后续层并未使用的信息。更有力的证据来自对所提出的机制进行干预,并观察是否出现预期的结果。即便如此,解释也必须明确其适用范围:在一组受控提示中得到证实的机制,未必能解释日常对话中表面上相似的行为。

思想起源与发展

机制可解释性借鉴了多种较早的研究传统,包括联结主义模型、神经表征分析和分布式计算研究。表征学习领域的研究表明,神经网络能够在没有显式符号标签的情况下,在内部空间中组织信息。早期对隐藏单元和习得权重的研究就已开始探讨,能否将这些表征与可辨识的概念联系起来,不过当时使用的方法和术语差异很大。

围绕计算机视觉,逐渐形成了一项重要的实验研究传统。特征可视化通过优化输入,使选定的神经元、通道或层产生强烈激活。这种方法可以揭示它们对边缘、纹理、物体部件或更复杂模式的偏好。马修·蔡勒和罗布·弗格斯于2014年开展的卷积网络可视化研究,以及杰森·约辛斯基及其同事于2015年开展的可视化研究,推动了网络内部分析成为一项可实际开展的实验活动,而不再仅仅是查看权重矩阵。

另一些研究则将激活与人工标注的概念联系起来。戴维·鲍及其合作者于2017年提出的“网络剖析”(Network Dissection),衡量了单个单元与已标注图像中语义概念的对应程度。克里斯·奥拉、亚历山大·莫尔德文采夫和路德维希·舒伯特于2017年开展的特征可视化研究,系统整理了生成更易于解释的优化图像的技术。这些方法既展现了为单个单元赋予含义的价值,也揭示了其局限:某些单元表现出可辨识的选择性,但仅凭语义选择性,还不足以说明完整的计算过程。

随着“回路”(Circuits)系列文章自2020年起陆续发表,以回路为导向的研究纲领变得更加明确。对视觉模型的研究尝试沿着网络中的实际权重,将低层检测器与高层特征联系起来。2021年的《Transformer回路的数学框架》(A Mathematical Framework for Transformer Circuits)提出了分析简化的纯注意力模型的工具,强调注意力模式与经由这些模式传递的信息如何共同实现计算。这推动研究重点从孤立的可视化转向通过各组成部分及其相互作用来解释网络。

此后,围绕语言模型的研究迅速扩展。对归纳头、间接宾语识别、事实回忆和算术的研究,提供了一批便于分析的案例,使研究者能够提出并检验具体的内部算法。2022年的《叠加的玩具模型》(Toy Models of Superposition)将表征重叠确立为核心研究问题,而2023年关于稀疏字典学习的研究则推动了对不与单个神经元一一对应的可解释特征的探索。这一发展并未取代早期方法,而是拓宽了可供选择的分析单元,也让选择这些单元的困难更加凸显。

表征、特征与叠加

神经激活是一种数值状态,本身并不对应某个带有明确标签的概念。在隐藏向量 x∈Rdx \in \mathbb{R}^{d} 中,信息可能与某个坐标、方向、子空间或非线性模式相关联。神经元是模型所实现的表征中的一个坐标,而特征则是通过分析识别出的、由这些激活活动所表征的属性。将两者混为一谈可能导致误导性的解释,尤其是在多个有意义的属性影响同一个神经元时。

多义性一词描述的是同一单元对多个看似不同的特征作出响应的现象。一个神经元可能对几个互不相关的类别产生激活,并不是因为这些类别构成了一个人类看来连贯的概念,而是因为模型复用了彼此重叠的表征资源。叠加是对这一现象的一种解释假说:网络可以将特征分配到非正交的方向上,以容忍一定程度的干扰为代价,换取更大的表征容量,从而表征数量超过激活维度数的特征。

一个简化模型将激活写作

x≈∑i=1maivi,x \approx \sum_{i=1}^{m} a_i v_i,

其中,viv_i 是特征方向,aia_i 是其激活强度。当 m>dm>d 时,这些方向不可能全部相互正交。尽管如此,如果在典型输入下只有少量特征处于激活状态,许多特征组合仍然可以保持可区分性。玩具模型实验表明,稀疏性、特征重要性和可用维度数会影响特征是被分别表征、压缩进共享维度,还是被舍弃。这类模型展示了一种机制,但并不能证明大型网络中的每一种表征都具有这种形式。

一种颇具影响力的应对方法是稀疏自编码器,它从记录下来的激活中学习出一组数量更大的候选特征。一种常见的形式为

z=ReLU⁡(Wencx+benc),x^=Wdecz+bdec,z=\operatorname{ReLU}(W_{\mathrm{enc}}x+b_{\mathrm{enc}}), \qquad \hat{x}=W_{\mathrm{dec}}z+b_{\mathrm{dec}},

其目标函数例如

L=E ⁣[∥x−x^∥22]+λ E ⁣[∥z∥1].\mathcal{L} = \mathbb{E}\!\left[\|x-\hat{x}\|_2^2\right] +\lambda\,\mathbb{E}\!\left[\|z\|_1\right].

重构项鼓励保留原始激活中的信息,而稀疏项则鼓励只有相对少量的潜在特征被激活。其他架构则通过只保留固定数量的活跃潜变量来施加稀疏性约束。这些方法将常见的自编码器框架加以调整,用于寻找有用的表征字典。

提取出的特征并不必然对应一个边界分明的自然概念。它所呈现的含义取决于抽样得到的示例、字典规模和训练目标。更大的字典可能将一个宽泛的特征拆分成多个更细的特征,而罕见或表征较弱的信息则可能仍留在重构误差中。因此,解释不能仅凭一些引人注目的示例,还需要进一步检验:考察反例、激活分布、对下游计算的影响,以及不同训练运行之间的比较。最终得到的特征字典是对表征的一种建模,并不保证是唯一的分解。

以Transformer计算为研究对象

Transformer架构为这类研究提供了尤为有利的条件,因为其计算过程包含反复出现、结构相似的模块。词元被映射为向量,再由注意力模块和前馈模块处理。在许多模型中,这些模块会将各自的输出加到一组共享的隐藏表征序列上,这组表征通常称为残差流。借助残差连接,我们可以将模块视为从这一不断演变的状态中读取信息、并向其中写入信息的单元来加以分析。

对于一个注意力头,其计算可简化为

Q=XWQ,K=XWK,V=XWV,Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V,
H=softmax⁡ ⁣(QKTdk+M)VWO,H= \operatorname{softmax}\!\left( \frac{QK^{\mathsf T}}{\sqrt{d_k}}+M \right)VW_O,

其中,MM 表示掩码,dkd_k 是键的维度。注意力机制决定哪些位置之间交换信息,而值变换和输出变换则决定传递什么信息。因此,仅凭注意力热力图并不能给出完整的解释。两个注意力头可能关注相似的位置,却向残差流写入不同的信息。

查询—键路径和值—输出路径分别对应不同的分析问题。查询—键分析探究目标位置为何关注某个源位置;值—输出分析则探究该源位置的信息如何改变目标位置的表征或输出分数。在经过简化、仅含注意力模块的模型中,相关权重矩阵的乘积可以揭示复制、抑制或匹配行为。在更大的模型中,路径中间的归一化、非线性运算以及依赖上下文的表征,会使这种分解变得更为复杂。

前馈模块通常以多层感知机实现,是另一个主要的计算场所。它们可以变换特征组合,向残差流写入新信息,并参与涉及实体、句法或任务结构的关联。将前馈模块简单地描述为存储单元,同时将所有计算都归于注意力模块,并不恰当:这两类模块都参与分布式处理,其作用取决于所在层、模型架构和输入。

输出分析通常研究中间状态如何影响词元分数,即logit。logit透镜通过输出映射对中间表征进行投影,以查看它更倾向于哪些词元。这类投影可以提供有用的信息,但中间状态未必已经具备最终输出层所预期的表征形式。层归一化和后续计算也可能改变某个方向对答案的影响。因此,对logit的直接贡献只描述了一条作用路径,并不一定代表某个组件经由所有后续层产生的总体因果效应。

实验方法与因果干预

机制研究通常从行为对比入手:选择两个输入,使它们在某个精心选定的属性上存在差异,并产生不同的目标输出。研究者记录内部激活,确定候选组件,并提出有关信息流动的假设。激活统计量、注意力模式、梯度以及经训练得到的探针,都可以帮助缩小搜索范围。训练一个探针,使其根据隐藏状态预测某个属性,只能说明该探针能够从中提取这一属性,并不能证明原模型也以同样的方式使用该属性。

激活修补通过在不同运行之间移植激活来检验候选位置。假设 xcleanx_{\mathrm{clean}} 能使模型表现出目标行为,而 xcorruptx_{\mathrm{corrupt}} 会破坏这一行为。如果 hj(x)h_j(x) 是某个内部状态,那么在修补运行中,模型处理受扰动输入的同时,会被强制设定为

hj←hj(xclean).h_j \leftarrow h_j(x_{\mathrm{clean}}).

如果目标行为得以恢复,就表明修补后的状态携带了具有因果相关性的信息。干预对象可以是整个层、单个注意力头、某个词元位置,或某个特征方向。结果取决于扰动移除了哪些信息,以及替换操作无意间恢复了哪些其他信息。

消融采用互补的思路,即移除或改变某个组件。零值消融将激活替换为零;均值消融使用平均值;重采样消融则用其他样本的激活替换原有激活。这些选择会产生不同的计算状态,因此回答的是不同的问题。零向量可能远远偏离训练期间出现过的激活分布,而均值则可能抹去随上下文显著变化的信息。因此,行为发生巨大变化,可能反映的是计算过程受到破坏,而不是某项假定功能被有选择地移除。

路径修补试图隔离组件之间的特定路径,而不是考察某个组件通过所有下游路径产生的总体影响。相关的因果抽象方法则将模型中的干预,与所提出的高层算法中的干预进行比较。例如,因果擦洗检验的是:以保留假定计算结构的方式交换激活,是否也能保留模型行为。这些方法明确规定了哪些信息应当在哪些位置发挥作用,从而使解释更容易被证伪。

穷尽所有可能的干预代价高昂,尤其是在候选连接多达数百万条时。基于梯度的近似方法可以利用反向传播,在一次反向计算中估计许多潜在改动的影响,从而确定实验的优先顺序。当拟议干预幅度较大,或网络表现出非线性行为时,这些方法的准确性就会受限。因此,稳健的研究流程会将低成本筛查与精确干预、多类输入及备选假设结合起来。研究目的不只是找到一个移除后会导致模型失效的组件,而是解释它计算了什么,以及为何会产生观察到的效应。

典型回路与习得算法

归纳头是一种得到广泛研究、相对简单的习得机制。在一个序列中,如果前面出现过“A B”,后面又出现“A”,那么类似归纳的计算就可以使模型更倾向于用“B”续写。模型必须将当前元素与先前的一次出现联系起来,并提取当时紧随其后的内容。这比仅仅关注重复的词元更有结构性,因为有用的输出来自先前词元之后的那个词元。

在一种典型的双层纯注意力模型解释中,前一层的某个注意力头将有关前一个词元的信息传递到后面的位置。随后,另一个注意力头便可将当前词元与传递过来的信息进行匹配,并关注当前词元先前出现位置的下一个位置。该注意力头的输出会提高相应续写内容的得分。这一回路将具体的注意力模式与词元得分上的复制效应联系起来。研究者将其作为与上下文学习相关的机制加以研究,但无论是归纳行为,还是范围更广的上下文学习现象,都不能仅用这一个回路来完整解释。

间接宾语识别提供了一个语言结构更为丰富的案例。例如,给定提示“When John and Mary went to the store, John gave a drink to”(约翰和玛丽去商店时,约翰把一杯饮料给了……),模型可能更倾向于接上“Mary”。2022 年发表的一项针对 GPT-2 small 的研究,识别出了一组相互作用的注意力头,它们参与传递候选姓名、检测重复姓名以及抑制不合适的候选项。研究在姓名和句式模板构成的受控分布上评估了所提出的回路。其意义在于解释各组件如何分工协作,而不是展示一套完整的语言理解机制。

小型数学任务尤其适合对习得计算过程与已知算法进行细致比较。在 2023 年报告的一项研究中,尼尔·南达及其合作者分析了一个经过模加法训练的 Transformer,并识别出与傅里叶分量有关的表征。模型的内部运算可以与有助于计算整数模加法的三角函数结构联系起来。这项研究具体解释了一种习得算法及其在泛化过程中的发展,而不只是列出与正确答案相关的神经元。

受控的棋盘游戏模型提供了另一种试验平台。Othello-GPT 研究考察了一个根据对局历史预测落子的 Transformer,发现了与棋盘状态相关的内部表征;干预实验提供的证据表明,这些表征会影响落子预测。这类案例很有价值,因为相关变量和合法的状态转移都有明确界定。不过,其适用范围仍然有限:理解一个训练好的游戏模型或合成算术任务模型,并不意味着就能据此确定对话模型如何处理开放式推理,但这确实使研究者能够对可解释性方法开展格外严格的检验。

可靠性、评估与解释的局限

机制解释不能仅凭一张令人信服的示意图就成立。评估时,一个问题是忠实性:所提出的机制是否描述了模型实际执行的计算?另一个问题是覆盖度:它能解释多大范围的行为?第三个问题是特异性:该解释能否预测其他解释所忽略的差异?这些标准之间可能存在冲突。一个很小的回路或许容易理解,却只能解释一小类提示下的行为;而一个较大的子网络或许能复现行为,却无法提供有用的概念性解释。

回路评估通常会检验必要性和充分性。移除一个回路后观察到模型失效,可以为该回路在这一干预条件下的必要性提供证据。保留该回路、同时扰乱模型的其余部分,则可以检验某种形式的充分性。但这两种结果都不是绝对的。冗余路径可能使真正发挥作用的机制看起来并非必要,而保留下来的子网络之所以表现良好,也可能只是因为消融过程保留了有利的背景信息。因此,必须明确说明所采用的基线、评估分布,以及如何处理回路之外的连接。

泛化能力尤其重要,因为解释也会像预测模型一样,对样例过拟合。如果一个回路是基于少量模板发现的,就应使用合适的测试集,在未参与发现过程的名称、结构和语境上进行评估。更有力的检验会有意挑战假设:如果声称某个注意力头追踪的是语法角色,而非词元重复,那么测试样例就应将这两种属性区分开来。分布偏移可以揭示,一种解释捕捉到的究竟是稳健的运算,还是仅仅是用于发现该机制的数据集中的统计规律。

解释结果也可能对所选的表征基底敏感。有些内部重参数化方式能够保持网络的输入—输出行为不变,却改变各个坐标所呈现的含义。实际架构会限制哪些变换能够保持计算不变,但更一般的要点依然成立:与对分布式子空间或计算关系的描述相比,“第 500 号神经元表征某个概念”这样的说法可能不那么稳定。不同但同样有用的分解方式,可能描述的是同一个习得的计算过程。

自动化解释还带来了更多评估问题。语言模型可以用自然语言描述特征的激活情况,但流畅的标签可能遗漏例外,或将互不相关的触发因素混为一谈。有价值的检验会考察:描述能否预测特征在未见过的样例上的激活情况,以及对该特征进行干预能否产生预期效果。目前并不存在一个公认的标量评分,能够衡量完整的机制理解。预测准确率、干预结果、重建质量和人类可理解性,衡量的是相互关联却又不同的属性;在其中一项上取得成功,并不意味着其他各项也都达标。

规模化工具与自动化分析

对于大型模型,机制研究是一项计算开销巨大的工作。记录多个层、序列位置和样本中的所有激活值,所需的存储空间可能远超模型参数文件本身。为每一种可能的干预单独执行一次前向传播,还会使这一开销成倍增加。因此,研究人员会采用选择性记录、批量干预、精心挑选的数据集和近似归因,先缩小搜索空间,再开展成本高昂的因果检验。

软件支持在这一过程中至关重要。围绕 PyTorch 构建的框架可以为内部模块添加钩子、缓存激活值、替换中间张量,并测量由此引起的输出变化。TransformerLens 使 Transformer 研究中的许多此类操作变得易于开展。有效的工具必须保留架构细节:在归一化操作的输入端进行干预,与在其输出端进行干预并不等价;对拼接后的注意力结果进行修补,也不同于在某个注意力头的输出投影之前对其进行修补。

自动化回路发现试图将反复进行的人工实验转化为搜索过程。一种方法从一个大型候选图出发,移除那些缺失后仅使目标指标发生轻微变化的连接。另一种方法先利用近似归因对连接排序,再对范围更小的一组连接进行精确检验。这些方法能够发现紧凑的子网络,但其结果取决于图的粒度、数据扰动方法和所选指标。一个能够保持某项答案评分差值的回路,未必能保持模型更广泛的输出分布或行为。

稀疏特征提取带来了第二个规模化问题:即使字典已训练完成,仍需检查其中的特征,并厘清它们与计算过程的关系。特征仪表板可以展示使特征强烈激活的样例、词元级别的激活模式,以及特征与输出之间的关联。Anthropic 在 2024 年发表的《单义性的规模化》(Scaling Monosemanticity)研究报告称,从 Claude 3 Sonnet 中提取出了数百万个稀疏特征,其中既有与可识别实体相关的特征,也有与更抽象模式相关的特征。这些结果展示了基于字典的分析所能覆盖的范围,但并不能证明每个提取出的特征都具有唯一的含义,或其含义都已得到充分理解。

计算预算与证据预算并不是一回事。增大字典规模或绘制更多回路图,本身并不能验证更多解释。分析必须记录模型版本、确切的提示词、激活位置、干预选择和评估数据。微调或改用不同的模型检查点所带来的变化,可能使组件层面的研究结论失效。因此,要确保可复现性,就必须保存实验配置,并检验所提出的机制是否仍然存在、是否转移到了其他位置,或是否已被另一种实现方式取代。

在安全、调试和模型控制中的应用

研究者正在探索机制可解释性对人工智能对齐的潜在贡献,因为外部行为无法揭示所有可能影响可靠性的计算过程。内部分析或许能帮助区分真正解决任务的方法与走捷径的做法,识别与不良行为相关的表征,或解释安全防护措施为何会在某类输入上失效。这些都是研究目标,而非已经确立的保证:即使模型的某个局部可以得到解释,也不能据此证明其余计算过程可靠。

调试是一项较为直接的应用。如果模型出错是因为混淆了两个实体、忽略了某个相关词元,或通过不恰当的路径传递信息,因果分析就有助于定位问题。随后,便可以依据所识别的机制检验拟议的修正方案,而不只是根据少数有所改善的输出来判断。不过,局部干预可能产生广泛的副作用,因为同一组组件会支撑多项任务,而且信息可能以冗余形式分布在整个网络中。

模型编辑既展示了这种方法的潜力,也体现了它的难度。2022 年提出的 ROME 研究了如何对 Transformer 前馈网络的权重进行局部干预,以改变选定的事实关联。其实验将对事实回忆过程的因果追踪与定向参数更新联系起来。编辑成功并不意味着某项事实存放在一个独立的存储单元中:编辑可能影响相关提示,与其他知识相互作用,也可能无法一致地泛化。机制分析的价值,部分就在于它使这些假设和副作用能够接受检验。

激活引导在推理过程中改变模型的内部活动,通常做法是沿着与某种行为差异相关的方向添加激活。已有研究利用此类干预来影响风格、情感倾向、拒答行为或其他回答倾向。相比整个层的状态,稀疏特征有望提供选择性更强的控制接口。然而,改变一个看似相关的特征,可能产生超出其标签所暗示范围的影响,尤其是在激活强度异常高的情况下。控制与解释相互关联,但并不相同:可靠的控制信号未必能完整解释受控行为。

安全应用还面临证据上的不对称性。发现有害计算,可以证实它在所测试的条件下存在;但未能发现,并不能证明它不存在。模型可能针对不同输入使用不同路径,而部署时还可能涉及与工具、记忆或外部系统的交互,仅靠语言模型内部的某个回路无法解释这些交互。因此,机制研究的发现可以补充行为测试、对规范定义恰当的组件所做的形式验证,以及系统层面的评估,但其效力仍受限于实际考察过的具体计算过程和条件。