{
  "id": "singular-value",
  "title": "奇异值",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "奇异值是非负数，用于衡量矩阵或线性算子沿相互正交的主方向对向量的拉伸程度。",
  "category": "mathematics",
  "subcategory": "algebra",
  "type": "concept",
  "aliases": [],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/singular-value/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/singular-value/",
      "json": "https://aiwiki.page/en/singular-value.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "实矩阵或复矩阵 \\(A\\) 的奇异值是 \\(A^*A\\) 的特征值的非负平方根，其中 \\(A^*\\) 表示共轭转置。奇异值描述了相应线性映射产生的拉伸作用，不依赖于定义域和值域所采用的标准正交坐标。奇异值既适用于方阵，也适用于矩形矩阵，在矩阵近似、线性方程组求解和数值敏感性分析中具有核心作用。"
    },
    {
      "heading": "定义与约定",
      "text": "设 \\(A\\in\\mathbb{C}^{m\\times n}\\)，其中 \\(m,n\\geq 1\\)，并令 \\(p=\\min(m,n)\\)。按照通常的约定，\\(A\\) 的奇异值按如下顺序排列，重复的奇异值按重数计入：\n\n\\[\\sigma_1(A)\\geq \\sigma_2(A)\\geq\\cdots\\geq\\sigma_p(A)\\geq0,\\]\n\n矩阵 \\(A^*A\\) 是半正定厄米矩阵，因为\n\n\\[x^*A^*Ax=\\|Ax\\|_2^2\\geq0.\\]\n\n因此，它的所有特征值都是非负实数。\n\n更确切地说，若 \\(A\\) 的秩为 \\(r\\)，则 \\(A^*A\\) 和 \\(AA^*\\) 有相同的 \\(r\\) 个正特征值，按重数计入。这些特征值的正平方根就是 \\(A\\) 的正奇异值。再补入 \\(p-r\\) 个零，便得到通常约定的、含 \\(p\\) 个奇异值的列表。\n\n这一约定对矩形矩阵尤为重要。若 \\(n>m\\)，则除了长度为 \\(p\\) 的奇异值列表所对应的零特征值外，矩阵 \\(A^*A\\) 还有 \\(n-m\\) 个额外的零特征值。有些文献则保留 \\(A^*A\\) 的全部 \\(n\\) 个特征值的平方根，将这些额外的零也明确列入。\n\n对于实矩阵，\\(A^*\\) 就是其转置 \\(A^{\\mathsf T}\\)。"
    },
    {
      "heading": "奇异值分解",
      "text": "奇异值分解（SVD）将任意这样的矩阵表示为\n\n\\[A=U\\Sigma V^*,\\]\n\n其中 \\(U\\in\\mathbb{C}^{m\\times m}\\) 和 \\(V\\in\\mathbb{C}^{n\\times n}\\) 是酉矩阵，\\(\\Sigma\\) 是一个 \\(m\\times n\\) 的矩形对角矩阵，其对角元素为 \\(\\sigma_1,\\ldots,\\sigma_p\\)。对于实矩阵，可以选取正交矩阵作为 \\(U\\) 和 \\(V\\)。\n\n\\(V\\) 的列向量 \\(v_i\\) 称为右奇异向量，\\(U\\) 的列向量 \\(u_i\\) 称为左奇异向量。对于 \\(1\\leq i\\leq p\\)，有\n\n\\[Av_i=\\sigma_i u_i, \\qquad A^*u_i=\\sigma_i v_i.\\]\n\n特别地，\n\n\\[A^*Av_i=\\sigma_i^2v_i, \\qquad AA^*u_i=\\sigma_i^2u_i.\\]\n\n一旦规定了排列顺序，奇异值就由 \\(A\\) 唯一确定。奇异向量则一般不唯一。对于重奇异值，可以在相应的奇异子空间内更换标准正交基。即使是单重的正奇异值，在实数情形下，也可以同时改变其左右奇异向量的符号；在复数情形下，则可以同时将二者乘以一个模为一的复数。\n\n奇异值分解表明，每个矩阵都有奇异值，无须要求矩阵是方阵、可逆或可对角化。"
    },
    {
      "heading": "几何解释",
      "text": "在标准内积下，矩阵将单位球面映射为椭球面，该椭球面可能位于一个较低维的子空间中。正奇异值是椭球面的主半轴长度，相应的左奇异向量给出这些主半轴的方向。零奇异值表示相应方向被压缩为零。\n\n分解式 \\(A=U\\Sigma V^*\\) 将变换分为三个步骤：\n\n- \\(V^*\\) 在定义域中进行标准正交坐标变换。\n- \\(\\Sigma\\) 对各坐标方向进行拉伸、压缩或归零。\n- \\(U\\) 在值域中进行标准正交坐标变换。\n\n例如，\n\n\\[A= \\begin{pmatrix} 3&0\\\\ 0&-2 \\end{pmatrix}\\]\n\n的奇异值为 \\(3\\) 和 \\(2\\)。它将单位圆映射为半轴长度分别为 \\(3\\) 和 \\(2\\) 的椭圆。负特征值 \\(-2\\) 体现了方向的反转，而相应的奇异值只反映拉伸的幅度。\n\n对于任意非零向量 \\(x\\)，比值\n\n\\[\\frac{\\|Ax\\|_2}{\\|x\\|_2}\\]\n\n衡量沿该向量方向的拉伸程度。其最大值为\n\n\\[\\sigma_1(A)=\\max_{\\|x\\|_2=1}\\|Ax\\|_2.\\]\n\n若 \\(m\\geq n\\)，其最小值为\n\n\\[\\sigma_n(A)=\\min_{\\|x\\|_2=1}\\|Ax\\|_2.\\]\n\n若 \\(m<n\\)，由于零空间非平凡，这个最小值总是零，即使按通常约定列出的全部 \\(p=m\\) 个奇异值均为正数也是如此。\n\n奇异值依赖于所选的内积，或者等价地说，依赖于定义域和值域中长度的度量方式。奇异值在标准正交坐标变换下保持不变，但在任意换基或度量尺度变化下并不保持不变。"
    },
    {
      "heading": "与特征值的关系",
      "text": "特征值描述的是方阵作用后仅发生标量倍乘、方向保持不变的那些方向。奇异值描述的是定义域与值域之间相互正交的拉伸方向，而这两个空间的维数可以不同。\n\n对于正规矩阵，即满足 \\(A^*A=AA^*\\) 的矩阵，其奇异值就是特征值的绝对值，按重数计入。实对称矩阵、复厄米矩阵和酉矩阵均属于这种情形。\n\n对于一般矩阵，奇异值不一定等于特征值的模。例如，\n\n\\[A= \\begin{pmatrix} 0&1\\\\ 0&0 \\end{pmatrix}\\]\n\n有两个零特征值，但奇异值为 \\(1\\) 和 \\(0\\)。因此，仅凭特征值未必能描述矩阵对向量的拉伸程度。\n\n特征值的最大模总是不超过 \\(\\sigma_1(A)\\)，但这一不等式可以是严格的。"
    },
    {
      "heading": "基本性质",
      "text": "秩与可逆性\n\n正奇异值的个数等于矩阵的秩：\n\n\\[\\operatorname{rank}(A)=\\#\\{i:\\sigma_i(A)>0\\}.\\]\n\n对于 \\(n\\times n\\) 方阵，可逆性等价于 \\(\\sigma_n(A)>0\\)。若 \\(A\\) 可逆，则其逆矩阵的奇异值是 \\(A\\) 的奇异值的倒数，并按相反顺序排列：\n\n\\[\\sigma_i(A^{-1})=\\frac{1}{\\sigma_{n-i+1}(A)}.\\]\n\n酉不变性与缩放\n\n若 \\(Q\\) 和 \\(R\\) 是大小适当的酉矩阵，则\n\n\\[\\sigma_i(QAR)=\\sigma_i(A).\\]\n\n此外，\n\n\\[\\sigma_i(cA)=|c|\\,\\sigma_i(A).\\]\n\n按通常约定，矩阵 \\(A\\) 和 \\(A^*\\) 的奇异值列表相同。\n\n矩阵范数\n\n若干重要的矩阵范数可以用奇异值表示。\n\n由欧几里得向量范数诱导的谱范数为\n\n\\[\\|A\\|_2=\\sigma_1(A).\\]\n\n弗罗贝尼乌斯范数满足\n\n\\[\\|A\\|_F =\\left(\\sum_{i,j}|a_{ij}|^2\\right)^{1/2} =\\left(\\sum_{i=1}^{p}\\sigma_i(A)^2\\right)^{1/2}.\\]\n\n核范数又称迹范数，其定义为\n\n\\[\\|A\\|_*=\\sum_{i=1}^{p}\\sigma_i(A).\\]\n\n在凸优化中，它被用作秩的凸替代量。\n\n更一般地，对于 \\(1\\leq q<\\infty\\)，Schatten \\(q\\)-范数为\n\n\\[\\|A\\|_{S_q} =\\left(\\sum_{i=1}^{p}\\sigma_i(A)^q\\right)^{1/q}.\\]\n\n行列式与体积\n\n对于方阵 \\(A\\)，\n\n\\[|\\det A|=\\prod_{i=1}^{n}\\sigma_i(A).\\]\n\n因此，行列式的绝对值等于各主方向拉伸因子的乘积，它给出了该变换对体积的缩放倍数。\n\n对于列满秩的矩形矩阵 \\(A\\)，\n\n\\[\\det(A^*A)=\\prod_{i=1}^{n}\\sigma_i(A)^2.\\]\n\n其平方根是 \\(A\\) 将 \\(n\\) 维体积映射到其像空间中时的缩放倍数。\n\n变分刻画\n\n无须显式构造奇异值分解，也可以刻画奇异值。设\n\n\\[\\widehat{\\sigma}_1\\geq\\cdots\\geq\\widehat{\\sigma}_n\\]\n\n为 \\(A^*A\\) 的全部特征值的平方根，包括 \\(n>m\\) 时额外的零。则\n\n\\[\\widehat{\\sigma}_k = \\max_{\\substack{S\\subseteq\\mathbb{C}^n\\\\ \\dim S=k}} \\ \\min_{\\substack{x\\in S\\\\ \\|x\\|_2=1}} \\|Ax\\|_2.\\]\n\n这里，\\(S\\) 遍历所有维数为 \\(k\\) 的线性子空间。这一表述说明，第 \\(k\\) 个奇异值是在所有 \\(k\\) 维子空间中，能够达到的最小拉伸程度的最大值。"
    },
    {
      "heading": "低秩近似",
      "text": "奇异值衡量了用较低秩矩阵近似一个矩阵时所能达到的精度。将矩阵写成\n\n\\[A=\\sum_{i=1}^{r}\\sigma_i u_i v_i^*,\\]\n\n并定义截断奇异值分解\n\n\\[A_k=\\sum_{i=1}^{k}\\sigma_i u_i v_i^*, \\qquad 0\\leq k<r.\\]\n\n埃卡特–杨–米尔斯基定理给出\n\n\\[\\min_{\\operatorname{rank}(B)\\leq k}\\|A-B\\|_2 =\\|A-A_k\\|_2 =\\sigma_{k+1},\\]\n\n以及\n\n\\[\\min_{\\operatorname{rank}(B)\\leq k}\\|A-B\\|_F =\\|A-A_k\\|_F =\\left(\\sum_{i=k+1}^{p}\\sigma_i^2\\right)^{1/2}.\\]\n\n因此，奇异值快速衰减意味着低秩近似可以具有较小的误差。这是图像压缩、降维和降阶模型等应用的基础。若截断位置附近存在重奇异值，最佳近似可能不唯一。"
    },
    {
      "heading": "条件性与扰动",
      "text": "对于可逆方阵，谱条件数为\n\n\\[\\kappa_2(A) =\\|A\\|_2\\|A^{-1}\\|_2 =\\frac{\\sigma_1(A)}{\\sigma_n(A)}.\\]\n\n这个比值较大，意味着变换在某些方向上的拉伸程度远大于其他方向，因此在求解相应的线性方程组时，数据中的扰动可能被显著放大。\n\n最小奇异值还给出了矩阵到奇异矩阵集合的距离：\n\n\\[\\min_{A+E\\ \\text{singular}}\\|E\\|_2=\\sigma_n(A).\\]\n\n各个奇异值满足扰动界\n\n\\[|\\sigma_i(A+E)-\\sigma_i(A)|\\leq\\|E\\|_2.\\]\n\n因此，从绝对误差的角度看，奇异值是稳定的。然而，对于很小的奇异值，即使扰动很小，其相对误差也可能很大。\n\n当相邻奇异值彼此接近时，奇异向量可能敏感得多。因此，应当区分奇异值本身的稳定性与其对应方向的稳定性。\n\n在数值计算中，数值秩统计的是超过某个容差的奇异值个数，而不是严格为正的奇异值个数。容差取决于数据尺度、噪声、矩阵维数以及浮点运算的精度；不存在能够普遍区分信号与误差的阈值。"
    },
    {
      "heading": "应用",
      "text": "最小二乘法与逆问题\n\n对于最小二乘法问题\n\n\\[\\min_x\\|Ax-b\\|_2,\\]\n\n其最小范数解可写为\n\n\\[x=\\sum_{i=1}^{r}\\frac{u_i^*b}{\\sigma_i}v_i.\\]\n\n很小的正奇异值会导致除以很小的数，从而可能放大 \\(b\\) 中的误差。这是逆问题中的一个核心问题。\n\n正则化通过调整这种放大作用来处理这一问题。截断奇异值分解舍去与小奇异值对应的项。吉洪诺夫正则化则将因子 \\(1/\\sigma_i\\) 替换为\n\n\\[\\frac{\\sigma_i}{\\sigma_i^2+\\lambda}, \\qquad \\lambda>0.\\]\n\n这些方法以放弃敏感方向上的精确拟合为代价，降低对噪声的敏感性。\n\n主成分分析\n\n设 \\(X\\) 是一个各列均已中心化的实数据矩阵，观测数为 \\(N>1\\)。其样本协方差矩阵为\n\n\\[C=\\frac{1}{N-1}X^{\\mathsf T}X.\\]\n\n因此，各主成分的方差为\n\n\\[\\lambda_i(C)=\\frac{\\sigma_i(X)^2}{N-1}.\\]\n\n右奇异向量给出主方向，从而将奇异值与主成分分析直接联系起来。选定分量所对应的奇异值平方和占全部奇异值平方和的比例，就是这些分量保留的总方差比例。"
    },
    {
      "heading": "计算",
      "text": "尽管奇异值通过 \\(A^*A\\) 定义，但显式计算这一乘积通常并不可取。对于列满秩矩阵，\n\n\\[\\kappa_2(A^*A)=\\kappa_2(A)^2,\\]\n\n而且乘积计算中的舍入误差可能掩盖较小的奇异值。\n\n数值线性代数中的算法通常先通过正交变换或酉变换，将 \\(A\\) 化为双对角形式，然后计算该双对角矩阵的奇异值。此类变换有助于保持数值稳定性。\n\n对于规模极大的矩阵，迭代方法和随机化方法可以在不计算完整奇异值分解的情况下，估计选定的奇异值或构造近似的截断分解。其精度和计算成本取决于谱、矩阵结构以及所需奇异值的数量。"
    },
    {
      "heading": "向算子的推广",
      "text": "在泛函分析中，奇异值可以自然地推广到希尔伯特空间之间的紧算子 \\(T\\)。它们是正算子\n\n\\[|T|=(T^*T)^{1/2},\\]\n\n的特征值，按非增顺序排列并计入重数，必要时补入零。\n\n若有无穷多个非零奇异值，则它们趋于零。奇异值的衰减速度量化了有限秩算子的近似能力，将奇异值在矩阵中的作用推广到了算子情形。\n\n对于一般的非紧有界算子，\\(|T|\\) 未必具有离散的特征值列表。因此，有限维情形下用奇异值序列描述拉伸作用的方式，不能原封不动地推广到所有无穷维算子。"
    }
  ],
  "links": [
    "matrix",
    "eigenvalues-and-eigenvectors",
    "conjugate-transpose",
    "linear-map",
    "matrix-rank",
    "matrix-transpose",
    "singular-value-decomposition",
    "unitary-matrix",
    "orthogonal-matrix",
    "inner-product",
    "null-space",
    "inverse-matrix",
    "norm-mathematics",
    "convex-optimization",
    "determinant",
    "linear-subspace",
    "dimensionality-reduction",
    "condition-number",
    "system-of-linear-equations",
    "floating-point-arithmetic",
    "least-squares",
    "inverse-problem",
    "regularization",
    "covariance-matrix",
    "principal-component-analysis",
    "numerical-linear-algebra",
    "numerical-stability",
    "functional-analysis",
    "hilbert-space"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}