**局部可解释模型无关解释(Local Interpretable Model-Agnostic Explanations,LIME)**是可解释人工智能中的一种方法,通过在输入的邻域内用较简单的模型近似复杂模型,解释单次预测。它先生成经过扰动的输入,获取原始模型对这些输入的预测,再拟合一个可解释模型,并赋予被认为更接近待解释输入的样本更高的权重。所得解释通常会指出一小组支持或反对特定预测的特征。LIME 描述的是模型在所选扰动下的行为,并不能确定某种结果在现实世界中发生的原因。
起源与目的
马尔科·图利奥·里贝罗(Marco Tulio Ribeiro)、萨米尔·辛格(Sameer Singh)和卡洛斯·格斯特林(Carlos Guestrin)在 2016 年的论文《“我为什么要相信你?”:解释任意分类器的预测》中提出了 LIME。这项工作针对机器学习中的一个实际问题:模型即使具有很强的预测性能,也可能依赖用户未预料到或认为不恰当的模式。
LIME 将用于预测的模型与用于解释的模型分开。预测模型可以是随机森林、支持向量机或人工神经网络。解释模型则刻意保持简单,通常采用稀疏线性模型。
以下三个术语概括了它的适用范围:
- **局部:**近似某个选定输入附近的行为,而不是整个输入空间中的行为。
- **可解释:**使用旨在让人理解的表示方式和模型来表达这种近似。
- **模型无关:**主要要求能够查询预测结果,而不要求访问预测模型的架构、参数或梯度。
模型无关并不意味着无须做任何适配。输入预处理、扰动规则、距离度量和解释的展示方式,仍然必须适合相应的数据和任务。
数学表述
设 为待解释的模型, 为关注的输入。对于分类任务, 可以表示所选类别的得分或预测概率。对于回归任务,它可以表示预测的数值。
原始输入采用的表示方式可能与解释不同。例如,文本分类器可能处理稠密向量,而解释描述的却是词语是否出现。用 表示可解释表示,并令 将经过扰动的可解释输入 映射回原始模型能够处理的输入。
LIME 将解释表述为一个优化问题:
其中:
- 是一类可解释模型。
- 衡量原始模型与解释模型之间的不一致程度。
- 为扰动样本赋予局部性权重。
- 对解释的复杂度施加惩罚。
一种常见选择是加权平方误差损失函数:
局部性权重可以通过指数核定义,例如:
其中, 为距离度量, 控制邻域宽度。具体实现可能采用相近但不同的核函数约定,因此宽度数值的含义取决于确切的定义。
一种常用的代理模型是稀疏线性回归模型:
稀疏性限制了展示的特征数量。它可以通过特征选择、约束非零系数的数量或正则化来实现。上述优化表述描述了保真度与复杂度之间的权衡;实际实现通常将特征选择和模型拟合分成两个步骤,以近似求解这一问题。
解释流程
典型的 LIME 解释流程包括五个阶段。
选择目标与表示方式
解释针对某个指定的输出,例如分配给某一类别的概率。这一区分在多分类中尤为重要:一个特征可能支持某个类别,同时反对另一个类别。
可解释表示决定了解释的基本单位。这些单位可以是词语、图像区域、数值变量或数值变量的取值区间,并不一定与预测模型的内部特征相同。
生成扰动
LIME 对输入进行修改并采样,生成多个变体。具体操作取决于应用场景,可以包括删除词语、遮蔽图像区域或改变表格特征的取值。
这些扰动构成了用于拟合解释的人工数据集。因此,扰动的分布是解释方法本身的一部分,而不仅仅是实现细节。
查询原始模型
预测模型对每个扰动输入进行预测,其输出随后成为训练代理模型时使用的目标值。
这通常意味着每生成一次解释,都需要进行大量预测。如果通过应用程序编程接口访问模型,查询延迟、调用限制和费用可能成为重要因素。
加权与拟合
根据扰动输入与原始输入之间的距离,为各扰动样本赋予权重。随后,LIME 拟合一个简单模型来复现预测模型的输出,重点关注附近的样本,同时限制解释的复杂度。
邻域宽度、样本数量、保留特征的数量以及拟合方法,都是会显著影响结果的超参数。
展示解释
解释通常以排序后的特征列表、条形图、高亮词语或高亮图像区域的形式呈现。在拟合得到的局部近似中,正系数和负系数表示特征与所选模型输出之间关联的方向。
一个系数并不天然代表全局有效的特征重要性。其含义取决于表示方式、缩放方式、邻域、模型中包含的其他特征以及目标输出。
不同数据类型的处理
表格数据
对于表格数据预测,扰动会改变数值变量和类别变量。所得解释可以使用原始变量,也可以使用“收入落在此区间内”之类的条件。
为了便于展示,连续特征通常会被离散化,不过具体实现也支持不经过离散化的解释。采样可以使用从训练数据中估计的统计量,而类别取值则可以按照观测频率进行采样。
距离计算对特征缩放较为敏感。此外,如果变量之间存在相关性或约束,独立扰动各个变量可能产生不合理的组合。模型在这些组合上的行为,可能不同于其在真实观测数据上的行为。
文本
在自然语言处理中,一种常见的 LIME 表示方式是标记词语是否出现。通过删除选定词语生成扰动文档,再由代理模型估计哪些词语会影响某个选定的预测。
即使预测模型采用 Transformer架构或其他复杂架构,这种表示方式也可能有用。不过,删除词语可能改变语法、语义和上下文。词级解释也可能与模型内部的分词与词元化方式不同,尤其是在模型处理子词单元时。
图像
对于图像分类,LIME 通常将图像划分为超像素,即由相邻像素组成的区域。扰动会保留或遮蔽这些区域,代理模型则为各区域的存在赋予权重。
解释取决于图像的分割方式和遮蔽时使用的基准。用单一颜色、区域平均值或其他基准替换某个区域,会产生不同的模型输入。因此,高亮区域表示的是该区域在特定遮蔽操作下的影响,并不一定意味着模型识别出了一个有意义的物体。
保真度与解读
核心质量标准是局部保真度:代理模型在所选邻域内复现原始模型行为的程度。
这与预测模型的准确率不同。预测模型可能对某个结果作出错误预测,而 LIME 仍能准确描述它的局部行为。反过来,即使预测模型很准确,如果代理模型无法很好地近似它,解释的质量也可能很差。
以下几个区别十分重要:
- **局部拟合不等于全局有效。**对一个观测样本的解释不一定适用于另一个样本。
- **仅在一个点上一致并不足够。**与 相符,并不能证明在附近输入上也一致。
- **代理模型的拟合效果取决于分布。**在生成的扰动样本上高度一致,并不一定意味着在自然出现的样本上也一致。
- **可解释性取决于受众。**简短的特征列表不一定对每位用户都有意义。
LIME 是一种事后解释技术:它在不改变已拟合模型的情况下对其进行解释。它并不揭示某个唯一的内部推理过程。
局限性与稳健性
采样不稳定性
LIME 是一种随机化算法。不同的扰动样本可能导致不同的特征选择结果或系数,尤其是在多个特征的解释能力相近,或模型的局部行为具有非线性时。
固定随机种子可以让某个特定配置下的结果得到复现,但不能证明其解释在其他样本或设置下也稳定。
对邻域设计的依赖
过窄的邻域可能缺乏足够的有效变化。过宽的邻域则可能混合多种不同的行为模式,使简单代理模型难以充分表达。此外,输入表示中的距离也未必对应语义上的相似程度。
因此,不存在普遍适用的邻域宽度或距离度量。
不真实的扰动
扰动可能使输入偏离模型训练或部署时所遇到的数据分布。这会在解释样本与真实数据之间造成一种分布偏移。
当输入之间存在强依赖关系,例如相关的测量值、语法结构或空间关系时,这一问题尤为重要。代理模型可能忠实复现模型在人工输入上的行为,却无法很好地描述其在合理输入上的行为。
相关特征与交互作用
当特征高度相关时,很难明确区分各自的贡献。稀疏代理模型可能选择其中一个特征,却省略另一个携带相似信息的特征。
线性代理模型也无法直接表达所有交互作用。如果预测模型的输出取决于特征组合,单个系数可能掩盖或简化这种依赖关系。
不提供因果保证
LIME 的扰动是对模型输入的修改,不一定构成对底层系统的有效干预。其系数不能确立因果关系,也不能证明改变现实世界中的某个变量就会产生所指示的结果。
容易产生误导性解释
模型在解释时所用扰动输入上的行为,可能不同于其在普通输入上的行为。如果这些输入可以被区分开来,就可能刻意构造一个预测模型,使其给出令人放心的解释,同时在真实数据上保留不合期望的行为。因此,以模型无关的方式访问模型,并不能保证解释不受操纵。
相关方法与扩展
沙普利加性解释(SHAP)同样提供特征归因解释,但它将归因与博弈论框架联系起来。Kernel SHAP 使用带有特定加权方案和约束的加权回归方法。相比之下,标准 LIME 强调的是可解释模型在所选邻域中的拟合效果。尽管两种方法的输出形式相似,它们赋予特征贡献的含义和数值可能不同。
与 LIME 一同提出的**次模选取 LIME(Submodular Pick LIME)**会选择一小组实例级解释,旨在以较少冗余覆盖多种重要特征。它支持通过代表性示例检查模型,但并不会使每个局部代理模型都成为全局有效的解释。
LIME 也不同于知识蒸馏。后者通常训练一个较小的模型,在更广泛的数据分布上复现较大模型的行为。LIME 的核心目标则是围绕某个特定预测构建可解释的近似模型。
应用与评估
LIME 用于模型调试、检查意外预测,以及向用户说明模型的局部行为。解释可能揭示模型依赖背景区域、偶然出现的词语,或看似与预期任务无关的变量。这些模式可以促使人们调查是否存在数据泄漏(机器学习)或数据集中的人为痕迹,但仅凭解释本身并不能确定这些问题确实存在。
评估可以考察代理模型在额外邻域样本上的一致程度、多次运行的稳定性、对扰动设置的敏感程度,以及在真实输入而非仅在合成输入上的表现。人工评估关注的是另一个问题:解释能否帮助用户理解模型行为,同时又不让用户产生缺乏依据的信任。预测准确率、解释保真度以及对人的实用性,是三种不同的属性。