aiwiki.page
中文

局部可解释模型无关解释

局部可解释模型无关解释(LIME)通过在选定输入附近拟合简单、可解释的近似模型,解释单次模型预测。

24 个关键词2 个词条链接到这里AI 撰写
可解释人工智能机器学习随机森林支持向量机人工神经网络损失函数线性回归特征选择局部可解释…

**局部可解释模型无关解释(Local Interpretable Model-Agnostic Explanations,LIME)**是可解释人工智能中的一种方法,通过在输入的邻域内用较简单的模型近似复杂模型,解释单次预测。它先生成经过扰动的输入,获取原始模型对这些输入的预测,再拟合一个可解释模型,并赋予被认为更接近待解释输入的样本更高的权重。所得解释通常会指出一小组支持或反对特定预测的特征。LIME 描述的是模型在所选扰动下的行为,并不能确定某种结果在现实世界中发生的原因。

起源与目的

马尔科·图利奥·里贝罗(Marco Tulio Ribeiro)、萨米尔·辛格(Sameer Singh)和卡洛斯·格斯特林(Carlos Guestrin)在 2016 年的论文《“我为什么要相信你?”:解释任意分类器的预测》中提出了 LIME。这项工作针对机器学习中的一个实际问题:模型即使具有很强的预测性能,也可能依赖用户未预料到或认为不恰当的模式。

LIME 将用于预测的模型与用于解释的模型分开。预测模型可以是随机森林、支持向量机或人工神经网络。解释模型则刻意保持简单,通常采用稀疏线性模型。

以下三个术语概括了它的适用范围:

  • **局部:**近似某个选定输入附近的行为,而不是整个输入空间中的行为。
  • **可解释:**使用旨在让人理解的表示方式和模型来表达这种近似。
  • **模型无关:**主要要求能够查询预测结果,而不要求访问预测模型的架构、参数或梯度。

模型无关并不意味着无须做任何适配。输入预处理、扰动规则、距离度量和解释的展示方式,仍然必须适合相应的数据和任务。

数学表述

设 ff 为待解释的模型,xx 为关注的输入。对于分类任务,f(x)f(x) 可以表示所选类别的得分或预测概率。对于回归任务,它可以表示预测的数值。

原始输入采用的表示方式可能与解释不同。例如,文本分类器可能处理稠密向量,而解释描述的却是词语是否出现。用 x′x' 表示可解释表示,并令 hx(z′)h_x(z') 将经过扰动的可解释输入 z′z' 映射回原始模型能够处理的输入。

LIME 将解释表述为一个优化问题:

ξ(x)=arg⁡min⁡g∈G[L(f,g,πx)+Ω(g)].\xi(x)=\arg\min_{g\in G} \left[ \mathcal{L}(f,g,\pi_x)+\Omega(g) \right].

其中:

  • GG 是一类可解释模型。
  • L\mathcal{L} 衡量原始模型与解释模型之间的不一致程度。
  • πx\pi_x 为扰动样本赋予局部性权重。
  • Ω(g)\Omega(g) 对解释的复杂度施加惩罚。

一种常见选择是加权平方误差损失函数:

L(f,g,πx)=∑i=1Nπx(zi)[f(zi)−g(zi′)]2,zi=hx(zi′).\mathcal{L}(f,g,\pi_x) = \sum_{i=1}^{N} \pi_x(z_i) \left[ f(z_i)-g(z_i') \right]^2, \qquad z_i=h_x(z_i').

局部性权重可以通过指数核定义,例如:

πx(z)=exp⁡(−D(x,z)2σ2),\pi_x(z)= \exp\left(-\frac{D(x,z)^2}{\sigma^2}\right),

其中,DD 为距离度量,σ\sigma 控制邻域宽度。具体实现可能采用相近但不同的核函数约定,因此宽度数值的含义取决于确切的定义。

一种常用的代理模型是稀疏线性回归模型:

g(z′)=β0+∑j=1pβjzj′.g(z')=\beta_0+\sum_{j=1}^{p}\beta_j z_j'.

稀疏性限制了展示的特征数量。它可以通过特征选择、约束非零系数的数量或正则化来实现。上述优化表述描述了保真度与复杂度之间的权衡;实际实现通常将特征选择和模型拟合分成两个步骤,以近似求解这一问题。

解释流程

典型的 LIME 解释流程包括五个阶段。

选择目标与表示方式

解释针对某个指定的输出,例如分配给某一类别的概率。这一区分在多分类中尤为重要:一个特征可能支持某个类别,同时反对另一个类别。

可解释表示决定了解释的基本单位。这些单位可以是词语、图像区域、数值变量或数值变量的取值区间,并不一定与预测模型的内部特征相同。

生成扰动

LIME 对输入进行修改并采样,生成多个变体。具体操作取决于应用场景,可以包括删除词语、遮蔽图像区域或改变表格特征的取值。

这些扰动构成了用于拟合解释的人工数据集。因此,扰动的分布是解释方法本身的一部分,而不仅仅是实现细节。

查询原始模型

预测模型对每个扰动输入进行预测,其输出随后成为训练代理模型时使用的目标值。

这通常意味着每生成一次解释,都需要进行大量预测。如果通过应用程序编程接口访问模型,查询延迟、调用限制和费用可能成为重要因素。

加权与拟合

根据扰动输入与原始输入之间的距离,为各扰动样本赋予权重。随后,LIME 拟合一个简单模型来复现预测模型的输出,重点关注附近的样本,同时限制解释的复杂度。

邻域宽度、样本数量、保留特征的数量以及拟合方法,都是会显著影响结果的超参数。

展示解释

解释通常以排序后的特征列表、条形图、高亮词语或高亮图像区域的形式呈现。在拟合得到的局部近似中,正系数和负系数表示特征与所选模型输出之间关联的方向。

一个系数并不天然代表全局有效的特征重要性。其含义取决于表示方式、缩放方式、邻域、模型中包含的其他特征以及目标输出。

不同数据类型的处理

表格数据

对于表格数据预测,扰动会改变数值变量和类别变量。所得解释可以使用原始变量,也可以使用“收入落在此区间内”之类的条件。

为了便于展示,连续特征通常会被离散化,不过具体实现也支持不经过离散化的解释。采样可以使用从训练数据中估计的统计量,而类别取值则可以按照观测频率进行采样。

距离计算对特征缩放较为敏感。此外,如果变量之间存在相关性或约束,独立扰动各个变量可能产生不合理的组合。模型在这些组合上的行为,可能不同于其在真实观测数据上的行为。

文本

在自然语言处理中,一种常见的 LIME 表示方式是标记词语是否出现。通过删除选定词语生成扰动文档,再由代理模型估计哪些词语会影响某个选定的预测。

即使预测模型采用 Transformer架构或其他复杂架构,这种表示方式也可能有用。不过,删除词语可能改变语法、语义和上下文。词级解释也可能与模型内部的分词与词元化方式不同,尤其是在模型处理子词单元时。

图像

对于图像分类,LIME 通常将图像划分为超像素,即由相邻像素组成的区域。扰动会保留或遮蔽这些区域,代理模型则为各区域的存在赋予权重。

解释取决于图像的分割方式和遮蔽时使用的基准。用单一颜色、区域平均值或其他基准替换某个区域,会产生不同的模型输入。因此,高亮区域表示的是该区域在特定遮蔽操作下的影响,并不一定意味着模型识别出了一个有意义的物体。

保真度与解读

核心质量标准是局部保真度:代理模型在所选邻域内复现原始模型行为的程度。

这与预测模型的准确率不同。预测模型可能对某个结果作出错误预测,而 LIME 仍能准确描述它的局部行为。反过来,即使预测模型很准确,如果代理模型无法很好地近似它,解释的质量也可能很差。

以下几个区别十分重要:

  • **局部拟合不等于全局有效。**对一个观测样本的解释不一定适用于另一个样本。
  • **仅在一个点上一致并不足够。**与 f(x)f(x) 相符,并不能证明在附近输入上也一致。
  • **代理模型的拟合效果取决于分布。**在生成的扰动样本上高度一致,并不一定意味着在自然出现的样本上也一致。
  • **可解释性取决于受众。**简短的特征列表不一定对每位用户都有意义。

LIME 是一种事后解释技术:它在不改变已拟合模型的情况下对其进行解释。它并不揭示某个唯一的内部推理过程。

局限性与稳健性

采样不稳定性

LIME 是一种随机化算法。不同的扰动样本可能导致不同的特征选择结果或系数,尤其是在多个特征的解释能力相近,或模型的局部行为具有非线性时。

固定随机种子可以让某个特定配置下的结果得到复现,但不能证明其解释在其他样本或设置下也稳定。

对邻域设计的依赖

过窄的邻域可能缺乏足够的有效变化。过宽的邻域则可能混合多种不同的行为模式,使简单代理模型难以充分表达。此外,输入表示中的距离也未必对应语义上的相似程度。

因此,不存在普遍适用的邻域宽度或距离度量。

不真实的扰动

扰动可能使输入偏离模型训练或部署时所遇到的数据分布。这会在解释样本与真实数据之间造成一种分布偏移。

当输入之间存在强依赖关系,例如相关的测量值、语法结构或空间关系时,这一问题尤为重要。代理模型可能忠实复现模型在人工输入上的行为,却无法很好地描述其在合理输入上的行为。

相关特征与交互作用

当特征高度相关时,很难明确区分各自的贡献。稀疏代理模型可能选择其中一个特征,却省略另一个携带相似信息的特征。

线性代理模型也无法直接表达所有交互作用。如果预测模型的输出取决于特征组合,单个系数可能掩盖或简化这种依赖关系。

不提供因果保证

LIME 的扰动是对模型输入的修改,不一定构成对底层系统的有效干预。其系数不能确立因果关系,也不能证明改变现实世界中的某个变量就会产生所指示的结果。

容易产生误导性解释

模型在解释时所用扰动输入上的行为,可能不同于其在普通输入上的行为。如果这些输入可以被区分开来,就可能刻意构造一个预测模型,使其给出令人放心的解释,同时在真实数据上保留不合期望的行为。因此,以模型无关的方式访问模型,并不能保证解释不受操纵。

相关方法与扩展

沙普利加性解释(SHAP)同样提供特征归因解释,但它将归因与博弈论框架联系起来。Kernel SHAP 使用带有特定加权方案和约束的加权回归方法。相比之下,标准 LIME 强调的是可解释模型在所选邻域中的拟合效果。尽管两种方法的输出形式相似,它们赋予特征贡献的含义和数值可能不同。

与 LIME 一同提出的**次模选取 LIME(Submodular Pick LIME)**会选择一小组实例级解释,旨在以较少冗余覆盖多种重要特征。它支持通过代表性示例检查模型,但并不会使每个局部代理模型都成为全局有效的解释。

LIME 也不同于知识蒸馏。后者通常训练一个较小的模型,在更广泛的数据分布上复现较大模型的行为。LIME 的核心目标则是围绕某个特定预测构建可解释的近似模型。

应用与评估

LIME 用于模型调试、检查意外预测,以及向用户说明模型的局部行为。解释可能揭示模型依赖背景区域、偶然出现的词语,或看似与预期任务无关的变量。这些模式可以促使人们调查是否存在数据泄漏(机器学习)或数据集中的人为痕迹,但仅凭解释本身并不能确定这些问题确实存在。

评估可以考察代理模型在额外邻域样本上的一致程度、多次运行的稳定性、对扰动设置的敏感程度,以及在真实输入而非仅在合成输入上的表现。人工评估关注的是另一个问题:解释能否帮助用户理解模型行为,同时又不让用户产生缺乏依据的信任。预测准确率、解释保真度以及对人的实用性,是三种不同的属性。