多维尺度分析(MDS)是统计学中的一类方法,利用对象之间的相似或相异程度信息,将一组对象表示为几何空间中的点。其目标是让点与点之间的距离尽可能准确地再现观测到的关系。这些对象可以是人、产品、生物样本、城市、文档,或任何能够进行两两比较的实体。二维或三维的点配置可提供直观的可视化图景;更高维的点配置则可作为定量表示,用于后续分析。
多维尺度分析之所以重要,是因为关系信息往往存在,却没有有意义的坐标。人们无需用数值特征描述两个声音,就能判断它们的相似程度;即使没有各地的地理位置,也可能已有一张出行距离表。多维尺度分析将这类信息转化为空间表示,同时明确呈现所作的假设和近似误差。因此,它既是一种降维方法,也是一个研究关系能否得到简单几何解释的框架。
几种主要方法的区别在于各自保留的信息不同。经典尺度分析根据相异度的平方重建内积表示;基于距离的度量尺度分析直接拟合数值形式的相异度;非度量尺度分析则主要保留相异度的排序。这些方法有着共同的几何目标,但采用的准则、算法和解释方式各不相同。
历史发展与涵盖范围
多维尺度分析(MDS)的数学基础源于根据距离重建几何结构的问题。1935 年,艾萨克·J. 舍恩伯格揭示了欧氏距离矩阵与半正定型之间的重要联系。1938 年,盖尔·杨和阿尔斯顿·豪斯霍尔德阐明了在何种条件下,一组相互距离已知的对象可以用欧氏空间中的点来表示。这些成果使人们能够区分哪些距离表恰好对应于欧氏空间中的点构型,哪些则不能。
1952 年,沃伦·S. 托格森提出了一种实用的尺度分析方法,后来被称为经典多维尺度分析。其核心操作是对一个由距离平方推导出的矩阵进行特征值分解。约翰·C. 高尔在 1966 年的研究中,进一步阐明了基于距离的表示方法与多变量分析之间的关系。在生态学等领域,经典尺度分析常被称为主坐标分析。这个名称通常专指上述构造方法,而不是 MDS 所涵盖的所有方法。
另一条发展脉络来自心理测量学。在这一领域,用数值表达的判断往往更适合被视为具有顺序意义,而非等距尺度意义。罗杰·N. 谢泼德在 1962 年发表的论文中,提出根据相似度的排序恢复空间结构。约瑟夫·B. 克鲁斯卡尔在 1964 年发表的论文中,通过明确的拟合优度准则和数值优化,建立了非度量 MDS 的方法框架。例如,这使人们能够对颜色或语音的相似度评分进行建模,而不必假定 2 分与 3 分之间的差异和 7 分与 8 分之间的差异具有相同意义。
后续研究拓展了模型及其计算方法。1970 年,J. 道格拉斯·卡罗尔和张吉杰提出了 INDSCAL,用于表示不同个体对共同维度赋予权重时的差异。扬·德·莱乌在 20 世纪 70 年代的研究确立了主化法作为最小化 MDS 应力值的有效途径。由此发展出的 SMACOF 算法族得到了广泛应用,因为其更新步骤可以设计为在每次迭代中都降低拟合准则的值。
这些起源解释了 MDS 一词为何涵盖如此广泛的内容。MDS 可以指精确的距离重建、探索性可视化、顺序测量模型,也可以指具有明确噪声假设的统计模型。它并不只是某一种特定的绘图算法。其根本特征在于:构建点构型所依据的主要信息来自对象之间的关系,而非一组预先确定的坐标变量。
接近度、距离与几何假设
通常的输入是一个 的表格,记录 个对象之间的接近度。当对象 与 差异较大时,相异度 较大;相似度的含义则相反。标准多维尺度分析通常假定相异度具有对称性,即 ,且 。对于相似度,必须采用与预期距离含义一致的方式进行转换或建模。不存在通用的转换方法:用常数减去相似度、采用角距离以及应用非线性变换,都会引入不同的几何结构。
相异度不一定满足度量空间的公理。度量必须非负,仅当两个对象相同时才为零,具有对称性,并满足三角不等式。人的判断、生态学指数和实证比较得分可能不满足其中一项或多项性质。尽管如此,许多多维尺度分析算法仍能拟合这类数据。所得坐标只是一种近似表示,并不能证明原始关系构成真正的距离。
在欧几里得多维尺度分析中,对象 被赋予一个点 ,它与对象 之间的拟合距离为
这里, 是构型矩阵, 是目标维数。通常采用欧几里得距离,但其他模型也可以使用其他范数、球面距离或非欧几里得空间中的距离。这些选择改变的是模型本身,而不仅仅是既定解的展示方式。
相异度的构建往往比最终的优化更为关键。当各项测量采用不同单位时,如果不对尺度加以处理,数值以千计的变量就可能主导取值介于零和一之间的变量。对于二元观测数据,可能需要采用能够区分“共同出现”与“共同缺失”的系数。对于归一化后的非零特征向量 ,余弦相似度 对应的欧几里得弦长距离为 ;若改用 ,得到的则是弦长距离平方的一半,其度量性质有所不同。
对于不完整且可靠性不一的比较,可以用非负权重 来表示。权重为零意味着将某一对象对排除在拟合准则之外,而权重越大,该对象对的影响就越大。相异度缺失并不等同于相异度为零:零意味着对象重合或具有最大的相似程度。将有向测量值对称化也会丢失信息。例如,将相反方向的行程时间取平均,会消除由交通状况、坡度或运输时刻安排造成的方向不对称性。
经典尺度分析与距离重构
经典多维尺度分析将相异度的平方转换为中心化的格拉姆矩阵,其元素旨在表示坐标向量之间的内积。令 由各元素的平方 构成,并定义中心化矩阵
其中, 为单位矩阵, 为全一向量。双重中心化得到
如果输入的相异度是精确的欧氏距离,那么对于坐标均值为零的点构型,有 。
上述公式可由以下恒等式推导出来:
在矩阵的左右两侧分别乘以 ,会消去包含各个向量范数平方的项,只留下中心化后的内积。这解释了为什么经典尺度分析使用距离的平方,也解释了为什么对已经表示距离平方的表格应用这一过程时,若未考虑这一约定,就会得到不同的结果。
利用特征值与特征向量,可写成
如果最大的 个特征值均为正,则一个 维解为
对于精确的欧氏距离,保留所有正特征值即可精确重构这些距离。正特征值的个数就是所需的最小欧氏空间维数。保留更少的正特征值,则得到中心化内积矩阵的低维近似。
其存在条件可以精确表述为:一个对称、非负且对角线为零的相异度矩阵是欧氏距离矩阵,当且仅当其距离平方矩阵经双重中心化后为半正定矩阵。因此,绝对值较大的负特征值表明,给定的相异度并非精确的欧氏距离。微小的负值也可能由舍入或浮点运算产生。舍弃负特征值会得到一个欧氏近似,但这并不能证明原始距离是欧氏距离。
经典尺度分析最小化的是一种通常称为应变(strain)的矩阵近似准则,而不是直接最小化普通距离之间的偏差:
在这一准则下,截断的正特征值分解给出了秩不超过 的最优半正定近似。这一区别很重要,因为最能逼近内积的点构型,未必最能逼近距离。由于平方运算,少数较大的相异度可能产生很大的影响。
经典尺度分析与主成分分析(PCA)之间存在精确的联系。如果相异度是中心化数据矩阵各行之间的欧氏距离,那么经典多维尺度分析得到的就是主成分得分,两者仅可能在允许的旋转、镜像反射以及重特征值对应的特征子空间内的选择上有所不同。主成分分析从测量变量出发,而经典多维尺度分析仅凭距离就能得到相同的几何结构。
度量尺度分析与基于距离的损失函数
在基于距离的度量多维尺度分析中,用构型中各点之间的距离来拟合观测到的数值相异度。一种常见的目标函数是原始应力,
与经典应变不同,这一准则衡量的是普通距离上的误差。“度量”一词通常表示相异度的数值大小具有意义,并不一定意味着每个观测到的相异度都满足数学上的度量公理。
有些度量模型拟合的是经过变换的目标值,称为差异值,
这种变换可以是比例变换 、仿射变换 ,也可以来自其他指定的参数族。可能需要施加 以及差异值非负等约束。允许采用的变换决定了测量假设:比例缩放保留比值,而仿射变换则在统一改变单位和原点的情况下保留差值关系。
归一化的约定各不相同。一种常用的归一化准则通常称为 Stress-1,其形式为
其他定义可能用目标距离的平方和进行归一化,或采用不同的分母。因此,如果不知道具体公式,就无法解释所报告的“应力”值。将原始残差平方和乘以 100、对其开平方以及对其进行归一化,是彼此不同的操作,即使软件给它们使用了相似的名称也是如此。
损失函数和权重的选择决定了哪些偏差会占主导地位。未加权的平方误差应力会对较大的绝对误差施加很重的惩罚。相对误差加权更强调比例上的一致性,但这样一来,较小的目标相异度可能产生极大的影响。小约翰·W. 萨蒙于 1969 年提出的萨蒙映射采用相异度倒数加权,着重保留较小的距离,并且需要对零相异度作特殊处理。
在明确给出误差模型时,可以作出统计解释。如果观测到的相异度等于构型距离加上相互独立、方差相同的高斯误差,那么最小化原始应力就相当于在该模型下对坐标进行最大似然估计。当误差方差已知且不相等时,自然会采用方差倒数作为权重。然而,成对测量往往涉及相同的对象、观察者或实验条件,因此其误差未必相互独立。仅仅进行最小二乘拟合,并不能证明高斯似然的适用性,也不能为使用标准的不确定性公式提供依据。
非度量尺度分析与序数信息
非度量多维尺度分析保留相异度的排序,同时允许其数值间隔发生变化。它的核心假设是:如果 ,那么第一对对象的拟合差异值不应大于第二对对象的拟合差异值。它不预先规定线性转换关系,而是估计一个非递减函数 :
随后,使点配置中的距离拟合这些差异值。当“更加不相似”具有明确意义,而评分之间相等的差值并不具有同等意义时,这种方法便很适用。
拟合过程通常在两项任务之间交替进行。在坐标给定时,保序回归在满足排序约束的条件下,求出最贴合当前距离的差异值。在差异值给定时,则通过优化程序更新坐标。采用平方误差损失时,可以通过合并违反单调性的相邻组来实现保序回归。如果按相异度从小到大排列后,对应的距离依次为 、 和 ,则可以将后两个合并,赋予相同的拟合值,具体数值由各自的权重决定。
必须控制尺度。如果在使用未经归一化的原始应力时,允许坐标和拟合差异值同时自由缩小,那么只需让所有值都趋近于零,就能使准则值任意小。因此,实际实现会使用归一化应力、固定某个范数,或施加等效的尺度约束。平移、旋转和镜像反射仍然无法唯一确定,因为它们不影响距离。
对于并列值,必须明确约定处理方式。一种方式要求相等的观测相异度对应相等的拟合差异值。另一种方式则不约束并列值内部的排序,但仍保留不同相异度水平之间的顺序关系。当评分量表的等级较少、许多对象对具有相同评分时,这一区别尤为重要。并列值所包含的信息少于所有对象对的完整排序,不同的处理方式可能产生显著不同的点配置。
就输入的序数信息而言,非度量多维尺度分析对相异度的严格递增变换具有不变性:这类变换会保留相异度的排序和并列结构。但这并不意味着任意两次计算都必然得到相同的坐标。局部极小值、初始化方式、并列值处理约定以及停止容差,仍可能导致不同的拟合解。
序数层面的灵活性也限制了解释的范围。非度量图中的距离并不自动成为以原始判断单位表示的测量值,距离为四也不一定意味着其意义是距离为二的两倍。拟合良好表明,在所选准则下,可以以较小的失真表示观测到的排序。但这并不能证明观察者使用欧几里得坐标,也不能证明各维度具有唯一的心理学含义,或排除其他模型给出同样良好表示的可能性。
优化、不变性与计算规模
基于距离的多维尺度分析通常是一个非凸的数学优化问题。虽然每个残差只涉及一个简单的距离,但所有坐标都通过成对项相互关联。因此,不同的初始构型可能收敛到不同的局部极小值。经典尺度分析往往能提供一个有用的起点,而随机初始化则可以探索其他解。比较多次初始化所得的最终目标函数值,有助于区分可重复获得的低应力解与依赖于初始化的解。
直接求解方法可以采用梯度下降,也可以采用更复杂的数值优化方法。当所有相关距离均非零时,在拟合差异值固定的情况下,原始应力的梯度为
重合点需要特殊处理,因为除以 没有定义。这也是为什么即使两个程序名义上最小化的是同一个目标函数,实现细节与初始化方式仍然很重要。
另一类主要方法是应力上界最小化,其中尤以 SMACOF 为代表,其名称是“Scaling by MAjorizing a COmplicated Function”(通过构造复杂函数的上界来进行尺度分析)的缩写。在每次迭代中,构造一个更简单的函数,使其位于应力曲面的上方,并在当前构型处与应力函数取值相同。最小化这个替代函数即可得到下一次迭代的构型。在拟合差异值固定的情况下,定义加权图拉普拉斯矩阵 ,其非对角元素为 ,对角元素为 。经过适当的中心化处理后,更新可表示为
其中 为伪逆。当当前距离非零时, 的非对角元素为 ,且每行元素之和为零。这种上界构造保证应力不会增大,但不能保证得到全局极小值。
所有仅依赖距离的模型都存在几何上的不确定性。平移不改变任何成对距离,而乘以一个正交矩阵会使构型旋转或反射,却不改变其拟合程度。有些模型的整体尺度也可以任意选取。因此,比较不同解时,通常先用普罗克鲁斯分析对齐坐标,再度量它们之间的差异。如果由正权重比较关系构成的图不连通,其各连通分量的相对位置就完全无法确定;即使图是连通的,也可能缺乏足够的约束,无法唯一确定其几何构型。
计算需求可能相当可观。完整的相异度矩阵需要存储 量级的元素,而经典多维尺度分析中完整的稠密矩阵特征分解,其时间复杂度为 量级。对于完整数据,基于距离的迭代通常需要执行 量级的坐标运算。部分特征值求解器、稀疏比较图、地标点构型和近似距离计算都能降低这些成本。每种近似都会改变数值解或所拟合的信息,因此,可扩展性与几何保真度需要分别考量。
维度选择、诊断与不确定性
目标维数 决定了表示的保真度与简洁性之间的平衡。二维图便于查看,但要充分表示对象间的关系,可能需要三维、十维甚至更高维。对于固定的原始应力模型,增加一个坐标维度不会使全局最优应力增大:只需在原有构型中附加一个取值为零的坐标,便仍可得到原来的解。如果拟合结果的应力反而增大,原因可能是陷入局部极小值、采用了不同的归一化方式,或改变了拟合假设。
对于经典尺度分析,特征值图有助于识别主要维度。当所有特征值均为非负数时,保留的特征值之和除以全部特征值之和,就得到这些维度所表示的中心化坐标方差占比。存在负特征值时,则没有一种普遍适用的“解释百分比”。以正特征值之和为分母和以特征值绝对值之和为分母,回答的是不同的问题。此外,这两种比值都不能直接表示普通距离误差被消除的比例。
对于基于应力的方法,应力随维数变化的曲线可能呈现肘部,但并不保证一定存在明显的肘部。过去将应力评为“极佳”“良好”或“较差”的定性分级,并不是普遍适用的阈值。能够达到的应力水平取决于对象数量、维数、噪声、相异度取值并列的频率、权重以及变换模型。即使序数信息并无多少实质性结构,规模较小的构型也可能将其拟合得非常好。
谢泼德图以观测相异度和拟合距离为两轴绘制散点,通常还会叠加估计的差异值曲线。它能揭示单个汇总统计量掩盖的偏差:例如,变换限制过严所导致的曲率、相异度较大时出现的饱和现象,或一小组拟合不佳的对象对。残差
也可以按对象、距离范围或已知组别进行汇总。单个点对应的误差贡献较大,可以帮助识别哪些对象与其他对象的关系难以表示,但仅凭这一点并不能说明这些观测有误。
只要剩余观测足以约束几何结构,就可以使用留出的比较数据进行验证。在这种形式的交叉验证中,先根据训练用的对象对估计坐标,再用留出的对象对进行评估。由于成对数据项涉及共同的对象,随机划分各个数据项,并不能得到通常意义上相互独立的训练样本和测试样本。针对新对象、新观察者和新比较的验证,分别回答不同的泛化问题。
评估不确定性时,可以对适当的抽样单位(如参与者或生物样本)进行自助采样,然后重新拟合并对齐构型。如果成对数据项因涉及共同的单位而相互依赖,通常不宜对这些数据项分别进行独立重采样。坐标的不确定性也需要谨慎处理:如果不对构型进行对齐,旋转不确定性可能造成表面上的变异;而当特征值近乎相等时,即使这些轴共同张成的子空间已得到可靠确定,各条坐标轴仍可能不稳定。
扩展及与其他方法的关系
个体差异多维尺度分析对多个相异度矩阵进行联合表示。INDSCAL 假设各观察者共享对象坐标,但对各维度赋予不同的非负权重。若 为观察者 对维度 赋予的权重,则模型中的距离为
这样便将对象的共同空间配置与各维度显著性上的差异区分开来。与普通多维尺度分析相比,共享坐标轴的假设可能更严格地限制旋转自由度,不过仍需注意坐标轴的排列以及尺度约定。
展开模型处理的是矩形而非方形的接近度表。例如,可以将受访者和产品放在同一空间中,用理想点到产品点的距离来关联受访者的偏好。观测数据可能仅包含两个集合之间的距离。这与普通多维尺度分析不同,后者的所有点都属于同一个对象集合,通常以集合内部的比较作为输入。矩形数据可能留下相当大的几何不确定性,因此约束条件和模型设定尤为重要。
约束多维尺度分析将坐标与解释变量联系起来,固定选定的标志点,或将空间配置限制为指定结构。这些约束可以提高可解释性,但也可能加大距离失真。加入正则化可以抑制不稳定或过于复杂的解。概率模型和贝叶斯模型对观测到的相异度、坐标或潜在维度设定概率分布,从而显式纳入不确定性和先验信息。其结论取决于观测模型,以及对几何不确定性的处理方式。
经典多维尺度分析与核方法密切相关。一个经过中心化的半正定相似度矩阵本身就可以充当格拉姆矩阵,因此通过特征分解即可直接得到坐标。所以,当核与距离的构造相对应时,核主成分分析与经典多维尺度分析可以得到相同的坐标。二者在概念上的区别在于,起始信息究竟是特征空间中的内积,还是用于重构内积的相异度表。
等距映射(Isomap)由约书亚·特南鲍姆、维恩·德席尔瓦和约翰·兰福德于 2000 年提出,将邻域图与经典多维尺度分析相结合。它用最短路径距离近似采样流形上的测地线距离,再对所得距离矩阵进行嵌入。其效果取决于邻域的选择和图的连通性:横跨流形、形成捷径的边可能严重扭曲几何结构。
其他可视化方法,包括 t 分布随机邻域嵌入和统一流形近似与投影,优化的是基于邻域的目标,而非标准多维尺度分析所用的距离准则。因此,这些方法所呈现的簇及簇间距离需要以不同方式解读。同样,聚类分析将对象划分成若干组,而多维尺度分析则提供连续的空间表示。两者可以结合使用,但多维尺度分析图中可见的间隙本身并不构成正式的聚类结果。
应用与实质性解释
在知觉研究中,多维尺度分析将比较判断转化为关于知觉组织方式的假设。颜色相似度可能呈现出环形或弯曲的排列;对语音的判断可能反映发音方式或声学特征上的区别;对音乐音色的比较则可能产生与频谱和时间特性相关的维度。算法本身不会为维度命名。对维度的解释需要借助外部测量、实验操纵,或坐标与已知属性之间有充分依据的关系。
在市场营销中,知觉图根据感知到的相似性来定位产品或品牌。偏好信息可以另行加入,例如通过理想点模型或向量模型。某一区域内产品稀少,只是拟合表示的一项几何特征,并不自动构成需求未获满足的证据:购买决策、价格、知晓程度和抽样都涉及两两相似程度之外的信息。基于不同受访群体绘制的图也可能有所不同,因为各群体关注的属性不同。
在生态学中,非度量多维尺度分析广泛用于表示群落组成的差异。布雷–柯蒂斯相异度等指标可用于比较物种丰度分布,而数据变换则可降低高丰度物种的影响。图中位置相近的样本,按照所选系数和拟合模型衡量,具有相似的群落组成。但它们未必具有共同的环境成因。排序完成后,可以进一步分析环境变量与排序结果的关系,但这些关联仍须与因果效应的证据相区分。
在遗传学和基因组学中,基于距离的图可以利用序列差异、由基因型推导的距离或表达谱来展示样本间的关系。亲缘关系、群体结构、技术处理和特征选择都可能影响结果。当所用距离是同一中心化特征表示中的欧氏距离时,多维尺度分析与主成分分析可能得到一致的结果;但采用不同的遗传距离或归一化程序时,两者未必一致。因此,图中的分离是整套分析构建过程的产物,而不是数据独立提供的直接分类。
地理位置重建为理解该模型的假设提供了一个直观例子。利用共面地点之间精确的直线距离,可以恢复这些地点的相对布局,但无法确定其平移、旋转和镜像反射状态。公路距离通常无法在平面上得到精确再现,因为路线受交通网络约束。类似地,沿地球表面的距离遵循球面几何而非平面几何,因此,平面近似是否足够准确,取决于所涉及的地理范围。
在各种应用中,都必须从关系的角度解释点的配置。无约束图中的左右方向没有内在含义,镜像配置彼此等价,而点的邻近程度只有相对于所选相异度及拟合情况才有意义。二维投影可能使在被省略维度上彼此分离的点重叠。因此,要使展示的点配置能够得到科学解释,就必须报告距离的构造方法、变换模型、目标维数、应力函数的定义、初始化策略以及诊断表现。