核方法 · aiwiki.page

核方法是机器学习和统计学中的一种技术，通过核函数表示输入之间的关系。在标准形式下，核函数计算隐式特征空间中的内积，使算法无需显式构造变换后的特征，就能对非线性模式进行建模。核方法涵盖分类、回归和降维等技术，支持向量机是其中的典型代表。其数学基础将有限规模的矩阵计算与可能为无限维的函数空间联系起来。(stat154.berkeley.edu)

核与隐式特征空间

对于输入域 $\mathcal X$ ，实值核是一个函数 $k:\mathcal X\times\mathcal X\to\mathbb R$ 。标准核方法要求核具有对称性和半正定性：对于任意有限组输入 $x_1,\ldots,x_n$ 及实系数 $c_1,\ldots,c_n$ ，都有

\sum_{i,j=1}^{n}c_i c_j k(x_i,x_j)\geq 0.

等价地，元素为 $K_{ij}=k(x_i,x_j)$ 的格拉姆矩阵 $K$ 必须是半正定的。虽然这类函数常被称为正定核，但并不要求严格正定。任意选取的相似度评分未必满足这一条件。(gaussianprocess.org)

有效的核可以表示为

k(x,z)=\langle\phi(x),\phi(z)\rangle_{\mathcal H},

其中， $\phi$ 将输入映射到一个希尔伯特空间，即完备的内积向量空间。核技巧将算法中的内积替换为核函数求值。因此，计算可以只依赖原始输入对，而不必涉及 $\phi(x)$ 的全部坐标。在特征空间中呈线性的模型，在原始变量空间中可以是非线性的。但这并不意味着，只要代入一个相似度函数，就能将任何算法核化。(stat154.berkeley.edu)

常用核函数

对于向量 $x,z\in\mathbb R^d$ ，以下几种核应用广泛：

线性核： $k(x,z)=x^\top z$ ，保留原始的内积表示。
多项式核： $k(x,z)=(\gamma x^\top z+c)^p$ ，其中 $\gamma,c$ 非负， $p$ 为正整数。它表示多项式特征的加权组合。
高斯径向基函数核： $k(x,z)=\exp(-\gamma\|x-z\|^2)$ ，其中 $\gamma>0$ 。相似度随欧几里得距离的平方增大而下降，其精确的特征表示是无限维的。(gaussianprocess.org)

核也可以用于比较字符串、树以及其他结构化对象。核的设计规定了哪些共同结构构成相似性，因此核的选择也是一种特征工程。有效核的非负加权和及逐点乘积仍是有效核，从而可以构造复合表示。核参数不仅是数值设置，还体现了对相关尺度、平滑性及交互作用的假设。(gaussianprocess.org)

函数空间与正则化

每个半正定核都确定一个再生核希尔伯特空间（RKHS），其中的函数满足

f(x)=\langle f,k(x,\cdot)\rangle_{\mathcal H}.

因此，在某一点求函数值本身就是一次内积运算。在监督学习中，一个常见的带正则化的目标为

\min_{f\in\mathcal H} \frac1n\sum_{i=1}^{n}L(y_i,f(x_i)) +\lambda\|f\|_{\mathcal H}^{2}, \qquad \lambda>0,

其中， $L$ 是损失函数， $(x_i,y_i)$ 是训练数据。范数惩罚项依据所选核来控制模型复杂度。(stat154.berkeley.edu)

表示定理指出，在适当条件下，最小化解具有如下有限展开形式：

f(x)=\sum_{i=1}^{n}\alpha_i k(x_i,x).

因此，无限维空间中的搜索可化为求解有限个系数。该定理给出的是一种表示形式，并不保证计算成本低或预测性能好。当损失函数为凸函数，且惩罚项为 RKHS 范数的平方时，这一表述得到的是一个凸优化问题。(stat154.berkeley.edu)

主要应用

核支持向量分类在特征空间中拟合一个分离超平面，同时在间隔宽度与分类错误之间进行权衡。其预测函数通过计算待预测输入与支持向量之间的核函数值进行预测；支持向量通常是训练样本的一个子集。支持向量回归将类似原理应用于连续输出。(scikit-learn.org)

核岭回归将岭回归扩展到 RKHS。对于目标函数 $\sum_i(y_i-f(x_i))^2+\lambda\|f\|_{\mathcal H}^2$ ，系数可以取为

\boldsymbol\alpha=(K+\lambda I)^{-1}\mathbf y,

实际计算通常通过数值方法求解这一线性方程组，而不是显式构造逆矩阵。(stat.berkeley.edu)

核主成分分析利用中心化核矩阵的特征值与特征向量进行降维。在高斯过程模型中，核则用于指定函数值之间的协方差。这些方法共享核的数学基础，但其目标和解释有所不同。(scikit-learn.org)

模型选择与计算限制

核的选择、尺度参数及正则化强度都会影响模型的灵活性和过拟合程度。这些设置通常通过交叉验证来选择。特征缩放会显著改变基于距离的核；对于径向基函数核，较大的 $\gamma$ 会使相似性高度局部化，较小的值则会使相似性覆盖更广的范围。核化并不能消除模型对输入表示的敏感性。(scikit-learn.org)

显式存储一个稠密的 $n\times n$ 核矩阵需要 $O(n^2)$ 的内存。精确核岭回归中使用的标准稠密矩阵分解约需 $O(n^3)$ 次运算，不过迭代求解器和特殊结构可以改变这些成本。因此，不显式构造特征坐标并不意味着消除了对样本数量的依赖。(gaussianprocess.org)

奈斯特罗姆方法以选定的训练样本为基底，对核表示进行近似。随机傅里叶特征通过随机生成的显式特征，近似满足相应条件的平移不变核。两者都允许随后使用线性算法进行训练，在近似误差与内存、计算开销之间作出权衡；其特征维度也成为模型设计中的一个额外参数。(scikit-learn.org)