aiwiki.page
中文

沙普利加性解释

SHAP 利用沙普利值,将模型预测相对于参考输出的差异分配给各输入特征,以解释预测结果。

29 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
机器学习夏普利值可解释人工智能局部可解释模型无…梯度提升随机森林开源软件条件期望沙普利加性…

**沙普利加性解释(SHapley Additive exPlanations,SHAP)**是一种用于解释机器学习模型预测结果的框架。对于某次预测,它以指定的参考输出为基准,为每个输入特征分配一个数值,表示该特征对预测的贡献。这些贡献基于沙普利值计算;沙普利值是合作博弈论中的一种解概念,用于将联盟的总价值分配给各参与者。在预测解释中,参与者就是特征,而待分配的价值则是模型输出的差异。

斯科特·M. 伦德伯格(Scott M. Lundberg)和李素仁(Su-In Lee)于 2017 年以 SHAP 之名提出了这一框架,通过加性解释模型将多种特征归因方法联系起来。由于它将明确的分配规则与实用的算法和可视化方法相结合,因此在可解释人工智能中得到了广泛应用。SHAP 可以解释单次预测,支持对多个观测样本进行比较,并揭示拟合后的模型如何利用输入的规律。

SHAP 解释并非仅由预测函数决定。它还取决于哪些特征被视为参与者、如何表示不可用的特征、使用哪个参考总体,以及解释的是哪一种输出尺度。这些选择使数学归因有别于因果解释,也决定了解释能够支持哪些结论。

起源与概念基础

SHAP 的数学基础早于机器学习。1953 年,劳埃德·S. 夏普利为合作博弈提出了一种价值分配方法。在这类博弈中,参与者组成联盟,每个联盟都有一个相应的数值收益。他的分配规则考虑参与者加入联盟的所有可能顺序,并对每位参与者在这些顺序下的边际贡献取平均值。当贡献取决于合作而非各自独立的行动时,这一规则为收益分配提供了一种有明确理论依据的方法。

在预测解释中,某个特征单独起作用时可能影响很小,但与另一个特征结合时却可能产生很大影响。例如,模型可能结合账户开立时长和交易金额来给出欺诈评分。要分配由此产生的预测差异,就需要决定如何分摊这些特征的共同贡献。Shapley 规则通过考察这两个特征在所有可能联盟情境下的贡献来解决这一分配问题,而不是偏重某一种加入顺序。

在 SHAP 框架出现之前,已有研究将 Shapley 值用于预测解释。Erik Štrumbelj 和 Igor Kononenko 开发了基于采样的方法,利用博弈论中的特征贡献来解释单次预测。与此同时,解释复杂预测模型的方法也沿着局部替代模型、特征扰动和基于反向传播的归因等方向发展。Marco Tulio Ribeiro、Sameer Singh 和 Carlos Guestrin 于 2016 年提出的局部可解释模型无关解释,强调在某次预测附近拟合一个可解释的近似模型。

Lundberg 和 Lee 于 2017 年发表的论文《解释模型预测的统一方法》(“A Unified Approach to Interpreting Model Predictions”),将多种归因方法纳入加性特征解释这一共同类别。论文将 SHAP 值作为满足特定解释性质的解,并提出了 Kernel SHAP 这一模型无关的估计方法。该框架还揭示了 LIME、DeepLIFT 等方法之间的联系,同时区分了它们各自的假设和近似过程。其主张并不是所有现有归因方法都已经在计算精确的 Shapley 值,而是可以通过一个共同的解释模型来分析这些方法之间的关系。

后续研究提高了这一框架在特定模型类别中的实用性。针对树集成模型的高效算法尤为重要,因为梯度提升和随机森林广泛用于结构化数据。Lundberg 及其同事于 2020 年发表的论文《借助面向树模型的可解释人工智能,从局部解释走向全局理解》(“From local explanations to global understanding with explainable AI for trees”),进一步阐明了单次树模型预测的解释与更广泛的模型分析之间的联系。如今,SHAP 这一名称既指概念框架,也指一个包含解释器、掩蔽流程、解释对象和绘图工具的开源软件生态系统。这些实现所计算的底层博弈并不完全相同,采用的近似程度也不一致。

数学定义与分配性质

设 ff 为拟合得到的预测函数,xx 为待解释的观测样本,N={1,…,M}N=\{1,\ldots,M\} 为其特征集合。联盟价值 vx(S)v_x(S) 表示在已知或保留 S⊆NS\subseteq N 中的特征时所对应的输出。特征 ii 的夏普利归因值为

ϕi(x)=∑S⊆N∖{i}∣S∣! (M−∣S∣−1)!M![vx(S∪{i})−vx(S)].\phi_i(x)= \sum_{S\subseteq N\setminus\{i\}} \frac{|S|!\,(M-|S|-1)!}{M!} \left[v_x(S\cup\{i\})-v_x(S)\right].

方括号中的项是特征 ii 对联盟 SS 的边际贡献。其系数反映了在对所有特征进行均匀随机排序时,该联盟恰好排在 ii 之前的概率。等价地,ϕi(x)\phi_i(x) 是在所有可能的特征排列中,特征 ii 在各个可能位置被揭示时所产生贡献的平均值。

SHAP 使用如下形式的加性解释模型:

g(z′)=ϕ0+∑i=1Mϕizi′,g(z')=\phi_0+\sum_{i=1}^{M}\phi_i z'_i,

其中,zi′∈{0,1}z'_i\in\{0,1\} 表示在简化后的解释中,某个特征是否被视为存在。令 ϕ0=vx(∅)\phi_0=v_x(\varnothing),由夏普利值的效率性质可得

∑i=1Mϕi=vx(N)−vx(∅).\sum_{i=1}^{M}\phi_i =v_x(N)-v_x(\varnothing).

当包含全部特征的联盟能够还原预测结果时,上式可写为 f(x)=ϕ0+∑iϕif(x)=\phi_0+\sum_i\phi_i。因此,除实现过程中数值近似带来的误差外,各归因值恰好完整地分摊了预测值与其基准值之间的差异。

夏普利值的经典刻画涉及效率性、对称性、虚设参与者性质以及跨博弈的可加性。对称性要求将相同的贡献份额分配给边际贡献完全相同的特征。如果加入某个虚设特征从不改变任何联盟的价值,那么该特征的归因值为零。可加性意味着,对两个博弈之和进行分配,所得结果等于分别对这两个博弈进行分配后再相加。最初的 SHAP 表述强调了与之相关的解释性质,称为局部准确性、缺失性和一致性。一致性要求:当某个特征的所有边际贡献均增加或保持不变时,其归因值不得减小。这些性质刻画的是给定博弈下的分配方式,并不能确定每种应用应采用何种博弈。

一个包含两个特征的例子可以说明交互作用如何分配。假设 v(∅)=10v(\varnothing)=10、v({1})=14v(\{1\})=14、v({2})=12v(\{2\})=12,且 v({1,2})=20v(\{1,2\})=20。特征 1 获得的归因值为 12(14−10)+12(20−12)=6\tfrac12(14-10)+\tfrac12(20-12)=6,特征 2 获得的归因值为 12(12−10)+12(20−14)=4\tfrac12(12-10)+\tfrac12(20-14)=4。两个特征单独带来的增益分别为 4 和 2,此外还有 4 的额外联合增益,由二者均分。因此,这一解释可写为 20=10+6+420=10+6+4。这只是对给定模型输出差异的分配,并不意味着改变现实世界中的任一变量就会产生数值相同的效果。

参考分布与特征缺席的含义

拟合后的模型通常需要完整的输入。因此,SHAP 需要一套规则,用于评估某些特征缺席时的联盟。这是解释背后最核心的建模选择。解释中特征的缺席,并不一定意味着原始数据集中存在缺失值:即使某个特征的观测值已知,也可以在假设的联盟中有意不提供该特征。

一种选择是使用条件期望:

vxcond(S)=E ⁣[f(X)∣XS=xS].v_x^{\mathrm{cond}}(S) = \mathbb{E}\!\left[f(X)\mid X_S=x_S\right].

在这种方法中,不可用特征的分布会随已观测到的特征联盟而变化。如果条件分布得到正确刻画,这种方法就能保留统计关系。例如,知道一个测量值后,即使另一个与之相关的测量值尚未揭示,也可能获得有关后者的信息。因此,即使模型并未显式使用某个特征,该特征仍可能获得归因,因为它提供了有关模型实际使用的特征的信息。这并不违反虚设参与者性质:该性质关注的是联盟博弈中的边际贡献,而不只是某个变量是否出现在模型的源代码中。

另一种构造方法使用参考分布来替换不可用的特征:

vxmarg(S)=EXSˉ ⁣[f(xS,XSˉ)],v_x^{\mathrm{marg}}(S) = \mathbb{E}_{X_{\bar S}} \!\left[f(x_S,X_{\bar S})\right],

其中,Sˉ=N∖S\bar S=N\setminus S。已观测的坐标固定为其在 xx 中的取值,其余坐标则从背景总体中抽取。对缺席的坐标进行联合抽样,可以保留这些坐标内部的依赖关系,但会打破固定部分与抽样部分之间的依赖关系。在树模型解释器的术语中,一种常用形式称为“干预式”。仅凭这一名称,并不能将其归因视为因果效应。

两者的差异可能相当显著。假设模型使用 X1X_1,而 X2X_2 与 X1X_1 高度相关。在条件归因下,揭示 X2X_2 可能改变预测的期望值,因此它可能与 X1X_1 共同分得贡献。在边际替换下,如果模型的函数输出不依赖于 X2X_2,那么 X2X_2 的边际贡献就为零。另一方面,边际替换可能生成与实际观测数据相去甚远的组合,例如对同一物理量给出彼此不相容的测量值。这两种构造方法回答的是关于模型使用方式和可用信息的不同问题。

背景总体也决定了比较的参照。以整个数据集为参照解释某个观测,与以特定地区、时期或同类群体为参照进行解释,并不相同。基线通常是模型输出在该总体上的期望值,未必是观测结果的平均值。即使 f(x)f(x) 不变,更换背景也可能改变基线和各个特征的贡献。对于图像和文本,掩蔽操作还会引入更多选择:空白图块、模糊区域、替换词元和生成式补全会定义不同的反事实输入,从而产生不同的联盟价值。

模型无关估计与计算成本

对于一般的预测函数,精确计算的成本很高。当有 MM 个特征时,共有 2M2^M 个联盟,而计算一个联盟的价值本身可能就需要对大量背景观测取平均。特征数达到 30 时,联盟数量就已超过十亿。因此,实用的模型无关解释器通常通过对选定的输入进行模型求值来估计 Shapley 值,而不是枚举整个博弈。

Kernel SHAP 将这一计算转化为以二元联盟指示变量为自变量的加权线性回归。对于既非空集也非全集的联盟 SS,Shapley 核为

π(S)=M−1(M∣S∣) ∣S∣ (M−∣S∣),0<∣S∣<M.\pi(S)= \frac{M-1} {\binom{M}{|S|}\,|S|\,(M-|S|)}, \qquad 0<|S|<M.

该回归用加性模型拟合各联盟的输出,同时由空联盟和全体联盟提供端点约束。在所有联盟的价值均已知且施加了适当约束的情况下,拟合得到的系数就能还原 Shapley 分配。实际应用中,则通过选取部分联盟和有限的背景样本来近似完成这一计算。这里的“核”指的是加权函数,而不是训练预测器所用的核方法。

联盟采样和背景采样会引入不同来源的误差。增加采样联盟的数量,可以更准确地近似各特征子集之间的分配;增加背景样本量,则可以更准确地估计所选参考分布下的联盟价值。但这两种做法都无法弥补对“特征缺失”的定义选择不当所造成的问题。特征选择或促使回归结果稀疏化的选项,也会影响计算预算有限时得到的解释,尤其是在只能进行少量模型求值的情况下。

基于排列的估计器采用与之等价的随机顺序定义。先随机抽取一种特征排列,再按顺序逐个引入特征,并将每个特征加入时引起的联盟价值变化分配给该特征。对多个排列的结果取平均,即可估计其 Shapley 值。如果对完整路径进行了求值,各步增量相加时,中间项会逐项抵消,最终等于两个端点之差。使用反向排列或将排列配对,可以降低采样波动。实际成本取决于排列数量、背景观测数量、输出维度,以及能否批量执行预测。

高维输入通常需要分组。图像解释可以将区域而非单个像素视为参与者;文本解释则可以使用词元、词或文本片段。分组也可以表示表格数据集中相互关联的列。分组会改变分配问题:将一个组视为单个参与者时,该组的 Shapley 值通常并不等于原始未分组博弈中各成员 Shapley 值的总和。对联盟施加层次结构约束的方法则可能计算Owen 值,以遵循指定的分组结构。因此,报告运行时间或准确性时,需要明确参与者、掩蔽规则、求值预算以及所估计的分配方案,而不能仅仅将某种方法称为“SHAP”。

面向树、线性模型和神经网络的专用算法

模型专用解释器利用预测模型的内部结构,避免通用扰动方法的部分计算开销。但速度快并不意味着无需指定参考分布或特征依赖假设。“精确 SHAP”指的是针对某个特定联盟博弈的精确计算,而不是不受这些选择影响的通用解释。

Tree SHAP 利用决策树的结构,高效地累积特征贡献。树通过一系列分裂划分输入空间,而树集成模型则对多棵此类树的输出求和或取平均。该算法跟踪不同联盟如何沿分支行进,并以 Shapley 权重合并它们的贡献。原始算法的一个常见复杂度界为 O(TLD2)O(TLD^2),其中 TT 为树的数量,LL 为每棵树叶节点数的上界,DD 为树深度的上界。这避免了显式枚举所有特征子集。相关实现支持多种重要的集成系统,包括 XGBoost 和 LightGBM。

树模型的解释可以采用不同规则来处理缺失特征。干预式计算基于明确指定的背景数据集求平均。树路径依赖式计算则使用通过各分支的训练样本数等信息。后者在计算上较为方便,但不应直接将这些分支频率视为总体条件分布的精确表示。因此,在不同的受支持假设下,同一棵拟合好的树可以得到不同但各自有效的解释。

对于线性模型

f(x)=b+∑i=1Mβixi,f(x)=b+\sum_{i=1}^{M}\beta_i x_i,

采用边缘替换可得

ϕi(x)=βi(xi−E[Xi]).\phi_i(x)=\beta_i\bigl(x_i-\mathbb{E}[X_i]\bigr).

对于这一特定博弈,该闭式表达式并不要求输入变量相互独立。条件解释则有所不同:相关性可能使信息分散在多个特征之间,因此需要额外的分布假设或估计。由此可见,边缘归因具有简单公式,并不意味着所有线性模型的 SHAP 计算都具有相同的解释含义。

对于人工神经网络,Deep SHAP 将基于参考值的贡献传播与受 Shapley 值启发的规则相结合。它以 Avanti Shrikumar、Peyton Greenside 和 Anshul Kundaje 于 2017 年提出的 DeepLIFT 为基础。它并不逐一评估每个特征联盟,而是将输入与参考输入之间的差异沿网络运算传播。这可能比模型无关的评估快得多,但通常仍是一种近似方法,其表现取决于所支持的运算和参考分布。

基于梯度的解释器为可微模型提供了另一条高效途径。期望梯度将积分梯度的思想与对参考输入及插值路径上位置的平均相结合。这类方法利用反向传播,对于大型网络可能很有吸引力,但基于路径的归因与基于联盟的 Shapley 值并不必然相同。某个解释器被收录在 SHAP 软件库中,并不能证明它对所有模型都与离散 Shapley 公式精确等价。

解读解释结果、全局汇总与交互作用

局部解释通常包含基线值、特征值、特征归因值,以及明确指定的输出。瀑布图从基线值出发,依次叠加正向和负向贡献,直至得到预测值。力图则将类似的分解呈现为方向相反的推力。正向表示“相对于基线值,提高所选的模型输出”;它本身并不意味着有益、理想,或可能改善结果。

输出所采用的尺度至关重要。在二分类中,模型可能提供原始分数、对数几率形式的间隔值,或概率。由于概率变换是非线性的,加和后得到原始间隔值的各项贡献,通常不能直接加和得到对应的概率。对于逻辑斯蒂输出,若所解释的间隔值为 η=ϕ0+∑iϕi\eta=\phi_0+\sum_i\phi_i,则概率为 1/(1+exp⁡(−η))1/(1+\exp(-\eta))。对每个 ϕi\phi_i 分别进行变换,并不能得到概率的加性分解。在多分类中,解释还需要明确指定类别或输出分量。

一种常见的全局汇总指标是平均绝对归因值:

Ii=1n∑j=1n∣ϕi(x(j))∣.I_i=\frac{1}{n}\sum_{j=1}^{n}|\phi_i(x^{(j)})|.

它衡量的是,在选定的评估样本中,某个特征贡献的典型大小。蜂群图进一步展示了带正负符号的贡献值分布,通常还会按特征值为观测点着色。这些图可以显示,较大的特征值倾向于提高还是降低预测值,以及某个特征是否只影响一小部分观测。此类汇总取决于评估所用的总体,并非特征本身的普遍属性。

依赖图以特征的观测值为横轴,以其归因值为纵轴。在同一特征值处,纵向的离散分布可能反映交互作用、特征间的相关性,或所选条件博弈的影响。按第二个特征为各点着色,可能揭示其中的结构,但仅凭视觉上分离的模式,并不能确立因果交互作用。

SHAP 交互值将贡献明确划分为主效应项和两两交互项。对于不同的特征 ii 和 jj,定义

Δij(S)=v(S∪{i,j})−v(S∪{i})−v(S∪{j})+v(S).\Delta_{ij}(S)= v(S\cup\{i,j\})-v(S\cup\{i\}) -v(S\cup\{j\})+v(S).

一种常用约定将交互值定义为

Φij=∑S⊆N∖{i,j}∣S∣!(M−∣S∣−2)!2(M−1)!Δij(S).\Phi_{ij}= \sum_{S\subseteq N\setminus\{i,j\}} \frac{|S|!(M-|S|-2)!}{2(M-1)!} \Delta_{ij}(S).

该矩阵是对称的,对角线元素的取值应使 ∑jΦij=ϕi\sum_j\Phi_{ij}=\phi_i 成立。按照这一约定,一对特征的合计贡献由两个对称的非对角线单元格共同表示。两两交互矩阵可能远大于普通归因表,每个观测所需的存储空间与特征数量的平方成正比。这类矩阵也会对高阶行为的某些成分进行分摊,而不能证明模型只包含两两交互作用。

在模型开发与运行分析中的应用

SHAP 常用于检查训练好的模型是否依赖合理的输入。在结构化预测任务中,局部解释可以揭示模型是否依赖意料之外的标识符、数据采集过程产生的伪迹,或间接编码了结果的变量。例如,如果某个在预测时点之后才生成的字段贡献很大,就可能表明存在数据泄漏(机器学习)。归因揭示的是模型在所选博弈设定下的依赖关系;要确认是否存在泄漏,还需要检查该变量是在何时、以何种方式生成的。

汇总后的解释有助于比较预测性能相近的模型。两个模型在测试集上的得分可能相近,但依赖的信号却不同。一个模型的贡献可能集中在少数不稳定的特征上,另一个模型的贡献则可能分布得更广。只有当这些模型使用相容的背景数据和评估群体,解释可比的输出时,这类比较才具有可解释性。否则,归因大小的变化可能源于尺度或参考基准的变化,而非预测行为的实质性改变。

SHAP 也可以辅助特征工程和特征选择。依赖图可能揭示模型学到的饱和效应、阈值或特征组合。平均绝对归因值较低的变量可以被筛选出来,供进一步考察。然而,移除低归因特征后重新训练模型,与在固定模型的解释中屏蔽该特征,是两种不同的实验。冗余特征可能分摊贡献,而当前不重要的特征也可能在另一个特征被移除后变得有用。因此,归因排名并不能直接衡量去掉某个变量并重新训练所造成的性能损失。

在运行监控中,可以比较不同时期或不同子群体的归因分布。驱动预测的特征突然发生变化,可能伴随着分布偏移、数据处理流水线的变更,或新的用户行为模式。这种变化不一定表明模型性能退化:群体可能确实发生了变化,而预测性能仍然足够好。反过来,归因汇总结果保持稳定,也不能保证准确率稳定。基于实际结果的评估和输入数据监控,仍是彼此独立的证据来源。

对于文本和图像模型,解释可以突出显示与某个选定类别得分相关的区域。视觉模型可能将较大的贡献赋予背景区域,而非关注的对象;文本模型则可能依赖格式或反复出现的短语。这些发现可以帮助提出关于模型是否利用捷径的可检验假设。解释结果在很大程度上取决于分词与词元化、区域分割和掩蔽方式:删除一个词可能改变句子的含义,而替换一块图像区域则可能产生人为的视觉边缘。因此,高亮显示应被理解为模型对特定扰动流程的响应,而不应被当作模型具有人类式理解的直接说明。

可靠性、因果解释的局限与未解问题

SHAP 解释归因的是模型输出,而非数据生成过程。一个变量可能因为通过相关性、选择效应或间接代理关系预测了结果,而获得较大的贡献值。这并不能确立因果关系。即使是“干预式 SHAP”这一术语,通常描述的也只是特征替换操作;要赋予其因果解释,还需要对干预以及相关因果结构作出有充分依据的假设。

特征表示方式带来了另一项局限。单个分类变量经过独热编码后可能变成多列,而一个物理量也可能由多个相关的测量值表示。将每一列都视为独立的参与者,可能导致贡献的分配方式依赖于编码方式。引入重复或近乎重复的变量,可能重新分配归因值,在条件博弈下尤其如此。将相关列分组可以使所讨论的问题更有意义,但这实际上定义了一个不同的博弈,而不是自动纠正所有归因结果。

有限的计算会引入有别于模型不确定性的不确定性。对联盟、排列和背景数据记录进行抽样会产生蒙特卡洛误差;拟合条件分布会引入估计误差;近似传播方法则会引入各自特有的近似误差。当训练样本或拟合得到的模型发生变化时,解释也可能随之改变。较小的加性残差可以检验各项贡献能否重构输出,但无法证明背景总体、掩蔽过程或估计出的条件关系是否恰当。

当事后解释所使用的扰动超出预测器训练时所覆盖的数据域时,解释可能产生误导。2020 年,迪伦·斯莱克及其同事展示了这样的攻击:模型对普通观测数据和通过扰动生成的输入表现出不同行为,从而产生误导性的 LIME 和 SHAP 解释。这说明,准确分析一组选定的模型查询,与证明模型在真实部署分布下具有可信赖的行为,是两回事。这并不否定沙普利分配定理,而是对输入该定理的联盟输出究竟具有何种证据意义提出了质疑。

解释也不能证明公平性、隐私保护或监管合规性。即使受保护属性的归因值很小,其他变量仍可能间接表征该属性;而归因值较大,本身也不足以证明决策过程不被允许。详细的解释可能泄露模型或其背景数据的信息,但泄露程度取决于接口和威胁模型。这些问题需要特征归因表之外的证据。

研究仍在持续推进,涉及高效条件抽样、不确定性估计、因果博弈、结构化特征组,以及时间序列等具有依赖关系的观测数据的解释。对于大语言模型,甚至连定义输出都可能很困难:单个词元的得分、序列概率、标量评价器以及生成的回答,分别对应不同的解释目标。掩蔽提示词的一部分,既可能改变其语义内容,也可能改变后续文本的分布。因此,在这类场景中,必须先明确说明预测目标、联盟单元、参考输入和评估流程,才能对数值贡献作出有意义的解读。