流形学习 · aiwiki.page

流形学习是机器学习和降维中的一类方法，旨在为高维观测数据寻找低维表征。其核心前提是：数据可能位于某个流形上或其附近，而该流形的内在维数远小于测量变量的数量。大多数经典方法属于无监督学习，即无需类别标签，仅从观测数据中推断结构。不同算法保留的性质各不相同，包括沿曲面测得的距离、局部重构关系或邻域相似性。(scikit-learn.org)

数学基础

流形是一种在局部类似于欧几里得空间的空间，但其整体形状可能是弯曲的，或具有复杂的拓扑结构。在流形学习中，观测数据 $x_1,\ldots,x_n\in\mathbb{R}^{D}$ 被建模为从某个低维结构中采集的样本，通常还带有测量噪声。内在维数 $d$ 表示描述该结构所需的局部独立坐标的数量，不一定等于所选的输出维数。目标是构建坐标 $y_i\in\mathbb{R}^{m}$ ，其中 $m\ll D$ ，同时保留与具体应用相关的关系。(www2.stat.duke.edu)

“瑞士卷”可以说明环境维数与内在维数的区别：它是一张卷入三维空间的二维薄片。相邻卷层上的点之间，欧几里得距离可能很小，但沿薄片测得的距离却很大。因此，通过测地线描述的流形上的距离，能够反映直线距离无法捕捉的关系。在足够小的邻域内，可以用更简单的几何结构对弯曲曲面进行局部近似。(doi.org)

主成分分析寻找的是线性投影，而流形学习方法能够表示弯曲结构。不过，“保留结构”并没有唯一的数学含义：保留全局距离、局部邻居或重构关系，会产生不同的嵌入，对应不同的目标。适合可视化的方法不一定适合定量的距离分析。(scikit-learn.org)

邻域图与嵌入

许多方法首先构建邻域图，将每个观测点与其最近邻或指定半径内的点相连。边的权重表示距离或相似性。这种构建方式将流形学习与图论联系起来：用有限图近似底层连续空间中的关系。邻域大小决定哪些关系被视为局部关系，并会显著影响最终的表征。(doi.org)

随后，可以利用该图进行最短路径计算、局部重构或谱分析。谱方法从适当矩阵的特征向量中得到坐标，而其他方法则求解非线性的数学优化问题。因此，定义一个嵌入的不仅是其维数，还有其构建过程试图保留的关系。(www2.stat.duke.edu)

主要方法

**等距映射（Isomap）**于2000年提出，利用邻域图中的最短路径估计流形上的距离，再对这些距离应用经典多维尺度分析。它旨在获得全局一致的几何表征。其恢复保证以关于流形和采样的特定假设为前提，并不适用于任意数据集。曲面上相距较远的区域之间若出现错误连接，就可能形成捷径，扭曲估计得到的几何结构。(doi.org)

**局部线性嵌入（LLE）**同样于2000年提出，将每个观测点重构为相邻观测点的加权线性组合，然后寻找能够保留这些权重的低维坐标。其嵌入目标的形式为

\sum_i\left\|y_i-\sum_j w_{ij}y_j\right\|^2,

并施加约束以避免平凡解。LLE保留的是局部重构关系，而不是显式保留所有点对之间的距离。(www2.stat.duke.edu)

**拉普拉斯特征映射**构建加权图，并从图的拉普拉斯算子中导出坐标。其目标函数对连接较强的观测点在嵌入中彼此远离的情况施加惩罚：

\sum_{i,j}w_{ij}\|y_i-y_j\|^2.

归一化约束可防止所有点坍缩为单个点。该方法将离散的图结构与连续的流形几何联系起来，与聚类分析也有着自然的关联。(misha.belkin-wang.org)

**t分布随机邻域嵌入（t-SNE）**于2008年发表，将点对之间的相似性表示为概率分布，并最小化高维与低维表征中这些分布之间的KL散度。输出空间中的重尾分布可以缓解拥挤问题，即过多邻居必须容纳于有限低维空间中的问题。它主要是一种可视化技术，而不是重构全局度量几何的方法。(jmlr.org)

**统一流形近似与投影（UMAP）**最早于2018年提出，以流形几何和拓扑学为理论出发点，构建模糊邻域表征。它使用交叉熵目标优化低维坐标，以近似这一表征。其邻居数量和最小距离参数会影响较大尺度结构与紧密排列的局部群组之间的平衡。该方法支持高于二维或三维的输出维数。(arxiv.org)

应用、评估与局限

流形学习的应用包括对图像集合、文本表征和生物测量数据进行可视化，以及为后续分析生成特征。这些用途与表征学习有所重叠，但一幅在视觉上易于理解的映射图，不一定保留了对预测有用的全部信息。有些算法主要为拟合时使用的观测点分配坐标；若要映射新的观测点，则需要额外的规则或样本外扩展，例如Isomap实现所提供的样本外扩展。(jmlr.org)

评估方式取决于预期用途。可信度衡量嵌入中新引入的邻居在原始空间中是否确实相近，并根据虚假邻居在原始空间中的距离排名对其施加惩罚。距离保持指标回答的是另一个问题，不能与基于邻域的指标互换使用。(scikit-learn.org)

重要的局限包括噪声、采样稀疏、邻域不连通，以及对参数选择的敏感性。较小的邻域可能产生碎片化或虚假的结构；较大的邻域则可能掩盖局部几何。基于优化的方法在不同运行中也可能产生不同布局。在t-SNE中，图上呈现的间隔并不是对原始距离的直接测量；在UMAP中，采样噪声可能造成看似存在的群组。因此，仅凭视觉上的分离，既不能认定存在离散群体，也不能确认流形假设是正确的。(scikit-learn.org)

参考来源

Manifold learning — scikit-learn documentationscikit-learn.org
Nonlinear Dimensionality Reduction by Locally Linear Embeddingwww2.stat.duke.edu
Laplacian Eigenmaps for Dimensionality Reduction and Data Representationmisha.belkin-wang.org
Visualizing Data using t-SNEjmlr.org
t-SNE — Laurens van der Maatenlvdmaaten.github.io
UMAP: Uniform Manifold Approximation and Projection for Dimension Reductionarxiv.org
Isomap — scikit-learn documentationscikit-learn.org
sklearn.manifold.trustworthiness — scikit-learn documentationscikit-learn.org