自由度是指在考虑系统所受约束后，描述系统变化所需的独立量的数目。在数学中，它通常指容许解空间的维数；在统计学中，它通常描述参数估计后剩余的独立变异。在力学中，它指确定系统构型所需的独立坐标数。这些含义都可以从维数的角度理解，不过统计学中的“有效自由度”将这一概念推广到了整数计数之外。(ocw.mit.edu)
数学解释
在线性代数中，自由度可以通过向量空间的维数来精确定义。考虑一个有解的线性方程组
[ Ax=b, ]
其中，(x) 有 (n) 个分量，矩阵 (A) 的秩为 (r)。其解可写成 (x=x_0+v)，其中 (x_0) 是一个特解，且 (Av=0)。根据秩—零化度定理，解有 (n-r) 个独立的变化方向。因此，无论写出了多少个方程，解集都有 (n-r) 个自由度：冗余方程不会增加独立的约束。(ocw.mit.edu)
例如，满足约束 (x_1+x_2+x_3=10) 的三个实数有两个自由度。一旦选定其中两个，第三个就随之确定。再加入一个原方程的两倍所构成的方程，并不会减少自由度。这里的“独立”是指坐标可以独立指定，不一定意味着观测量之间具有统计独立性。解释统计残差时，这一区别很重要：残差可能满足线性约束，却并非相互独立的随机变量。(ocw.mit.edu)
样本方差与一个自由度的损失
统计学中的一个重要例子是根据 (n) 个观测值估计方差。这些观测值与样本均值之差满足
[ \sum_{i=1}^{n}(x_i-\bar{x})=0. ]
因此，只有 (n-1) 个离差可以独立指定。估计均值给残差向量施加了一个约束，留下 (n-1) 个自由度。(ocw.mit.edu)
对于具有有限方差 (\sigma^2) 的独立同分布观测值，样本方差
[ s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2 ]
是无偏的，即其期望值等于 (\sigma^2)。以 (n-1) 而不是 (n) 作为分母，称为贝塞尔校正。这一无偏性结论不要求数据服从正态分布。该校正针对的是方差；对校正后的方差取平方根，通常并不能得到总体标准差的无偏估计量。(arxiv.org)
推断中的自由度
[ T=\frac{\bar{x}-\mu}{s/\sqrt n} ]
服从自由度为 (n-1) 的学生t分布。这一分布考虑了估计总体标准差所引入的不确定性。其分位数决定了常规均值置信区间的宽度。(iso.org)
将高斯随机变异投影到一个子空间后，其平方和也会涉及卡方分布。该分布的自由度对应于这个子空间的维数。因此，自由度将几何约束与统计假设检验所用的参照分布联系起来，而不仅仅是样本量的标记。(arxiv.org)
对于有 (r) 行、(c) 列的二维列联表，皮尔逊独立性检验通常采用 ((r-1)(c-1)) 个自由度。当各行、各列的合计数固定时，只要指定左上角 ((r-1)\times(c-1)) 区块中的数值，其余单元格的数值就随之确定。卡方参照分布是一种近似，其适用程度取决于抽样条件和各单元格的期望频数。(itl.nist.gov)
回归与残差变异
在用普通最小二乘法拟合的线性回归中，秩为 (r) 的固定设计矩阵 (X) 对应 (r) 个模型自由度。响应变量的拟合值是其在 (X) 的列空间上的正交投影；残差位于该列空间的正交补中，具有 (n-r) 个自由度。对于具有 (p) 个系数的满秩模型，残差自由度就是 (n-p)。需要估计的截距也算作一个系数。(arxiv.org)
因此，包含截距和斜率的直线模型具有 (n-2) 个残差自由度。将其残差平方和除以 (n-2)，便得到通常所用的残差均方。更一般地，当线性均值模型正确，且误差具有相同方差、彼此不相关时，将残差平方和除以 (n-r) 可得到误差方差的无偏估计。精确的卡方推断还要求误差服从高斯分布。(online.stat.psu.edu)
有效自由度
在机器学习和统计平滑中，参数个数可能无法充分反映一种方法对数据的适应程度。对于线性拟合规则 (\hat y=Sy)，若 (S) 固定且不依赖于观测到的响应值，常用的有效自由度定义为
[ \operatorname{df}_{\mathrm{eff}}=\operatorname{tr}(S), ]
其中，(\operatorname{tr}) 表示矩阵的迹。对于普通最小二乘法，这一定义给出的结果就是模型的秩。采用正则化时，例如在岭回归中，通过收缩各变化方向上的分量，可以得到非整数的有效自由度。这一数值并不必然等于精确的残差空间维数，也不一定是参照分布的参数。(arxiv.org)
对于误差相互独立且方差相等的更一般的拟合方法，一个相关定义是
[ \operatorname{df}_{\mathrm{eff}} =\frac{1}{\sigma^2}\sum_i\operatorname{Cov}(y_i,\hat y_i). ]
它通过协方差衡量方法对数据的适应程度，并与训练误差的乐观偏差有关。自适应模型选择可能使其与保留的系数个数相差很大；它不一定具有通常维数的性质。(arxiv.org)
力学中的用法
在经典力学和机器人学中，自由度是独立构型坐标的数目。自由刚体在平面内有三个自由度——两个平移自由度和一个转动自由度；在三维空间中有六个自由度——三个平移自由度和三个转动自由度。关节及其他独立约束会缩小允许的构型范围。这些是构型自由度，而不是统计观测值或拟合系数的个数。(modernrobotics.northwestern.edu)