{
  "id": "platt-scaling",
  "title": "Platt 缩放",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "Platt 缩放是一种后处理方法，通过拟合双参数逻辑函数，将分类器分数转换为估计的类别概率。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "Platt 校准",
    "Sigmoid 校准"
  ],
  "generated_at": "2026-11-06",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/platt-scaling/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/platt-scaling/",
      "json": "https://aiwiki.page/en/platt-scaling.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "Platt 缩放是机器学习中的一种概率校准方法，通过拟合逻辑函数，将分类器的数值分数映射为估计的类别概率。该方法由约翰·普拉特（John Platt）于 1999 年针对支持向量机提出，也适用于其他分数不能直接表示可靠概率的分类器。通常，底层分类器保持不变，由一个独立的校准模型学习其分数与实际观测结果之间的关系。"
    },
    {
      "heading": "动机",
      "text": "二分类器可能输出一个分数，表示某个输入偏向其中一类而非另一类的程度。例如，支持向量机会输出与其分隔边界相关的决策函数值。这类分数可以支持准确的分类或排序，却不一定具有明确的概率含义。\n\n概率校准关注预测概率与观测频率的一致性。在一个经过校准的系统中，被赋予接近 \\(0.8\\) 概率的样本里，应当约有 80% 属于正类。这与分类准确率不同：两个模型可以给出完全相同的类别预测，却赋予差异很大的概率。\n\nPlatt 缩放将这两项任务分开。基础模型学习用于预测的分数，校准模型则学习如何将该分数解释为概率。由于校准器只使用一个标量分数，因此无法恢复基础模型已经丢弃的预测信息。"
    },
    {
      "heading": "数学表述",
      "text": "设 \\(f(x)\\) 为一个固定分类器对输入 \\(x\\) 输出的分数。Platt 缩放将正类概率估计为\n\n\\[\\hat p(x)=\\sigma\\bigl(af(x)+b\\bigr) =\\frac{1}{1+\\exp\\bigl(-(af(x)+b)\\bigr)},\\]\n\n其中，\\(\\sigma\\) 是逻辑 Sigmoid 函数，\\(a\\) 和 \\(b\\) 是拟合得到的参数。\n\n一种通常与原始方法相关联的等价形式为\n\n\\[\\hat p(x)=\\frac{1}{1+\\exp\\bigl(Af(x)+B\\bigr)},\\]\n\n其中 \\(A=-a\\)，\\(B=-b\\)。因此，比较不同实现时，必须注意其符号约定。\n\n该模型假定，正类结果的对数几率近似为分类器分数的仿射函数：\n\n\\[\\log\\frac{\\hat p(x)}{1-\\hat p(x)} =af(x)+b.\\]\n\n斜率 \\(a\\) 控制概率变换的陡峭程度和方向，截距 \\(b\\) 则改变其位置。因此，Platt 缩放是一种只有一个输入特征的逻辑回归，这个特征就是基础分类器的分数。与直接对原始输入特征拟合逻辑回归不同，它不会学习新的多维决策边界。\n\n拟合目标\n\n对于分数为 \\(f_i\\)、二元标签为 \\(y_i\\in\\{0,1\\}\\) 的校准样本，一种常见的表述是最小化二元交叉熵损失：\n\n\\[\\mathcal L(a,b) = -\\sum_{i=1}^{n} \\left[ y_i\\log p_i+(1-y_i)\\log(1-p_i) \\right], \\qquad p_i=\\sigma(af_i+b).\\]\n\n这等价于伯努利模型下的最大似然估计。该目标函数关于 \\(a\\) 和 \\(b\\) 是凸的，但并非每个数据集都能保证存在有限且唯一的最优解。例如，当校准标签能够被完全分开时，未经正则化的参数估计可能发散。\n\n目标值平滑\n\n原始流程使用平滑后的目标值，而不是恰好等于零或一的标签。如果校准样本包含 \\(N_+\\) 个正例和 \\(N_-\\) 个负例，则目标值为\n\n\\[t_i= \\begin{cases} \\dfrac{N_++1}{N_++2}, & y_i=1,\\\\[6pt] \\dfrac{1}{N_-+2}, & y_i=0. \\end{cases}\\]\n\n这些目标值取代损失函数中的 \\(y_i\\)。当校准分数能够将各类别分开时，这样做可以减轻估计值趋向极端的倾向。被称为“Platt 缩放”的不同实现，在是否使用这些目标值、正则化、样本权重以及其他拟合细节方面可能有所不同。"
    },
    {
      "heading": "校准数据与工作流程",
      "text": "标准流程将分类器训练、校准和最终评估分开进行：\n\n- 使用训练数据拟合基础分类器。\n- 获取该分类器在独立验证集上的分数，用于校准。\n- 使用这些分数及其标签拟合 Sigmoid 函数的参数。\n- 在此前未使用过的测试集上评估校准后的系统。\n\n关键要求是，校准分数必须反映分类器在未见样本上的表现。如果用训练高灵活性分类器时所用的同一批样本来拟合校准器，得到的分数可能过于乐观，概率估计也可能产生偏差。如果评估数据影响了校准过程，还可能造成数据泄漏（机器学习）。\n\n如果单独划出校准集会导致模型训练数据过少，可以通过交叉验证获取折外分数。每个样本的分数都由训练时未使用该样本的模型给出。随后，校准系统可以组合各折各自校准的模型，也可以利用折外预测，为最终模型拟合校准器。\n\n这些方案并不等同。使用更多数据训练的最终模型，其分数分布可能不同于生成校准分数的那些模型。拟合所得映射的可靠性，取决于这些分数能在多大程度上代表部署时使用的模型。"
    },
    {
      "heading": "对排序与决策的影响",
      "text": "当 \\(a>0\\) 时，Sigmoid 变换严格递增。除数值计算的影响外，它会保留分数的次序，因此也会保留排序指标，例如受试者工作特征曲线及其曲线下面积。如果 \\(a<0\\)，次序会反转；如果 \\(a=0\\)，所有输入都会得到相同的概率。\n\n虽然斜率为正的缩放会保留排序，但它可能改变在固定概率阈值下作出的类别预测。例如，\n\n\\[\\hat p(x)\\geq 0.5\\]\n\n等价于 \\(af(x)+b\\geq 0\\)，而这一条件未必与原始分类器的决策规则 \\(f(x)\\geq 0\\) 一致。\n\n校准后的概率可以支持不同错误具有不同代价的决策。如果假阳性的代价为 \\(C_{\\mathrm{FP}}\\)，假阴性的代价为 \\(C_{\\mathrm{FN}}\\)，且正确决策的代价为零，那么最小期望代价规则会在下列条件成立时选择正类：\n\n\\[\\hat p(x)> \\frac{C_{\\mathrm{FP}}} {C_{\\mathrm{FP}}+C_{\\mathrm{FN}}}.\\]\n\n这种解释的前提是，这些概率适用于作出决策时所面对的总体和条件。"
    },
    {
      "heading": "评估",
      "text": "通常使用可靠性图来检查校准情况：将概率划分为若干区间，在每个区间内比较平均预测概率与观测到的正类频率。这类图依赖于区间的划分方式，在样本较少时可能不稳定。\n\n两种常用的概率评分指标是：\n\n- 对数损失：对置信度很高的错误预测给予尤其严厉的惩罚。\n- 布里尔评分：预测概率与二元结果之间的均方差：\n\n\\[\\operatorname{BS} =\\frac{1}{n}\\sum_{i=1}^{n}(p_i-y_i)^2.\\]\n\n两者评估的都是概率预测的整体表现，而不只是校准程度。它们的数值也反映了预测区分不同结果的能力。一个始终预测总体正类频率的分类器可以是校准的，但几乎没有区分能力。\n\n在用于拟合 Sigmoid 函数的数据上取得改善，并不能证明在新数据上也会改善。比较校准系统与未校准系统时，需要进行独立评估。"
    },
    {
      "heading": "相关方法",
      "text": "保序回归\n\n保序回归学习灵活的单调映射，而不是预设 Sigmoid 形状。它可以表示 Platt 缩放无法表示的关系，但通常需要更多校准数据，并且可能产生阶梯状的概率输出和相同的预测值。Platt 缩放的双参数形式施加了更强的结构假设，在数据有限时可能很有用。\n\n温度缩放\n\n温度缩放使用一个正的标量温度来重新缩放 logit。在二分类情形下，\n\n\\[p=\\sigma(z/T),\\qquad T>0.\\]\n\n当 \\(z\\) 为输入 logit 时，这相当于一种受限的 Sigmoid 变换，不拟合截距。Platt 缩放则可以同时调整斜率和截距。多分类温度缩放在 softmax 运算之前，对 logit 向量应用同一个温度，从而保留分数最高的类别。\n\n多分类扩展\n\nPlatt 缩放本质上适用于二分类。对于多分类，可能的扩展包括：校准一对其余分类的分数，再对所得输出进行归一化；或者校准两两分类器，再通过耦合过程组合它们的概率。\n\n独立校准的二元概率并不会自动加和为一。归一化或耦合会改变输出，其本身并不能保证多分类校准。"
    },
    {
      "heading": "局限性",
      "text": "该方法在建模方面的主要局限，是假设对数几率随分数线性变化。对于不对称或更复杂的分数与概率之间的关系，双参数 Sigmoid 函数可能无法很好地表示。\n\n其他局限包括：\n\n- 校准样本有限。 样本过少，尤其是罕见类别的样本过少，可能使拟合得到的映射不稳定。\n- 采样与加权的影响。 类别平衡、过采样和样本权重都会影响所拟合校准器针对的概率分布。在重新平衡后的样本上校准得到的概率，并不会自动代表未经重新平衡的部署总体。\n- 分布变化。 在某个总体上学到的映射，在发生分布偏移后可能不再保持校准，包括类别占比的变化，以及分数与标签之间关系的变化。\n- 子群体差异。 在整个总体上保持校准，并不意味着在每个子群体内都保持校准。\n- 信息受限。 基础分数相同的输入会得到相同的校准概率，即使其他可用信息能够表明它们的结果频率有所不同。\n\n因此，Platt 缩放为现有分类器的分数提供了一个简洁的概率模型，而不是一种能够普遍弥补分类器或其部署数据缺陷的修正方法。"
    }
  ],
  "links": [
    "machine-learning",
    "probability-calibration",
    "support-vector-machine",
    "binary-classification",
    "logistic-regression",
    "cross-entropy",
    "regularization",
    "training-data",
    "validation-set",
    "test-set",
    "data-leakage",
    "cross-validation",
    "brier-score",
    "multiclass-classification",
    "distribution-shift"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}