二分类是将输入划分为两个互斥类别之一的任务。在机器学习中,它通常属于监督学习:模型从标有两种可能结果之一的样本中学习,例如垃圾邮件或非垃圾邮件、不合格或合格、欺诈或合法。分类器可以直接输出类别标签,也可以生成分数,再通过决策规则将分数转换为标签。
数学表述
设 表示输入, 表示其类别标签。标签 0 和 1 是约定使用的标识符,并不是对类别的数值度量。其他编码方式也很常见,尤其是 。
分类器是一个函数:
许多系统首先计算实值分数 ,然后应用决策阈值 :
标签为 1 的类别通常称为正类,标签为 0 的类别称为负类。这些术语并不意味着某种结果是有利的或不利的。
有些模型会估计条件概率:
概率估计可以支持不同阈值下的决策,但并非所有分类器分数都是概率。例如,间隔或到分隔边界的距离可以有效地对样本排序,却不一定表示经过校准的发生概率。
决策边界将分别归入两个类别的区域分隔开来。根据模型和输入表示的不同,它可以是线性的、分段常数形式的,也可以是高度非线性的。
学习目标与决策理论
二分类器通常使用由样本对 构成的带标签训练数据进行拟合。在经验风险最小化框架下,通过选择模型参数,使平均损失函数最小化,通常还会加入额外的惩罚项:
其中, 是正则化项, 控制其影响程度。
零一损失对错误标签赋予 1 的惩罚,对正确标签赋予 0 的惩罚。由于直接优化这一损失可能比较困难,学习算法往往采用替代目标。常见的例子包括:
二元交叉熵,也称对数损失,用于概率预测:
合页损失,常用于基于间隔的分类器,标签采用 :
概率平方误差,是二分类布里尔分数的基础:
这些目标侧重于预测的不同方面。例如,交叉熵会对置信度很高却错误的概率估计施加较大惩罚。
最优决策与不等错误代价
如果 是真实的条件概率,而且两类错误的代价相同,那么使错误率最低的决策规则是在 时预测为正类;当概率恰好相等时,选择任一类别都是最优的。
当不同错误的代价不同时,阈值也会改变。假设假阳性的代价为 ,假阴性的代价为 ,而正确决策的代价为零。预测为正类和负类的期望代价分别为:
和
当满足以下条件时,预测为正类可使期望代价最小:
因此,0.5 并不是普遍适用的阈值。这一公式还假定所用概率适合部署时面向的总体,且符合上述代价模型;它并不自动适用于任意分数。
主要方法
二分类是一项任务,而不是某种特定算法。许多模型家族都能完成这一任务。
线性模型与概率模型
逻辑回归通过逻辑函数对正类概率建模:
在任意固定的概率阈值下,其决策边界相对于所提供的特征都是线性的。不过,非线性特征变换仍可在原始输入空间中产生非线性边界。
朴素贝叶斯分类器通过概率模型推导类别概率,该模型假设在给定类别的条件下,各特征相互独立。尽管这一假设限制较强,它在文本分类等任务中仍可能很有效。
感知机是一种早期的线性分类方法,在错误分类训练样本时更新权重。其收敛保证要求训练数据线性可分。
基于间隔的方法
支持向量机学习一种分隔规则,在较大间隔与违反分类约束的情况之间取得平衡。通过核方法,它可以表示非线性决策边界,而无须显式构造所有变换后的特征。其原始决策分数本身并不是概率。
树模型、集成方法与神经网络
决策树学习通过一系列测试划分特征空间。随机森林和梯度提升等方法结合多棵树,以提高预测性能。
人工神经网络可以学习非线性表示,并输出单个正类分数或概率。二分类往往是处理图像、文本、音频或结构化记录的大型系统的最后一个阶段。
没有哪一类模型在所有情况下都是最优的。性能取决于样本量、特征表示、标签质量、计算资源限制,以及训练总体与部署总体之间的关系。
评估
评估时必须区分类别决策质量、排序质量和概率估计质量。
混淆矩阵
混淆矩阵记录四种可能的结果:
| 实际类别 | 预测为正类 | 预测为负类 |
|---|---|---|
| 正类 | 真阳性(TP) | 假阴性(FN) |
| 负类 | 假阳性(FP) | 真阴性(TN) |
常见指标包括准确率:
精确率与召回率:
以及特异度:
召回率也称灵敏度或真阳性率。精确率衡量预测为正类的样本中有多少比例确实为正类;召回率衡量实际正类样本中有多少比例被检出。
F1 分数是精确率与召回率的调和平均数:
平衡准确率是灵敏度与特异度的平均值:
当指标的分母为零时,需要明确约定如何处理,或将该指标报告为未定义。F1 不考虑真阴性,因此无法描述性能的所有方面。
阈值曲线与排序
改变阈值通常会改变假阳性与假阴性之间的权衡。
受试者工作特征曲线描绘不同阈值下真阳性率与假阳性率之间的关系,其中假阳性率为:
其曲线下面积 ROC AUC 衡量排序的区分能力。若将分数相同的情况按一半计入,它可以解释为:随机抽取一个正类样本和一个负类样本,前者得分高于后者的概率。
精确率—召回率曲线则描绘精确率与召回率之间的关系。在正类较为稀少时,它往往很有参考价值,因为精确率直接反映了正类预测中的假阳性负担。其基线取决于正类在总体中的占比。
无论是 ROC AUC,还是精确率—召回率的汇总指标,都不能证明某个具体的运行阈值是合适的。用于汇总精确率—召回率表现的不同数值方法,例如平均精确率和梯形积分,也可能得出不同的值。
概率校准
概率校准关注预测概率是否与观测频率一致。在被赋予接近 0.8 的预测概率的样本中,若数据充足,经过校准的模型应当使正类频率接近 80%。
校准与区分能力不同。模型可能对样本排序良好,却系统性地产生过度自信的概率;也可能经过良好校准,却几乎无法区分类别。对数损失、布里尔分数和可靠性图可以从互补的角度提供有关概率预测的信息。
数据准备与实验设计
分类器测得的性能取决于评估数据的构建方式。验证集可用于模型选择、阈值选择和校准。在这些选择固定之后,使用独立的测试集估计性能。
当预测时无法获得的信息影响了训练或评估,就会发生数据泄漏(机器学习)。例如,在划分数据之前,先用整个数据集拟合预处理变换,可能会污染评估。重复记录、相互关联的个体,或来自同一事件的观测,也可能使随机划分产生误导。
具有时间依赖性的应用通常需要按时间顺序进行评估。同样,按人员、组织或设备分组的数据,可能需要采用组间隔离的数据划分。这些设计检验的是实际需要的泛化(机器学习)能力,而不只是在随机留出的数据行上的表现。
如果反复使用同一批留出数据指导开发,过拟合不仅可能影响分类器,还可能影响预处理方案、阈值,甚至评估流程本身。
类别不平衡
当某个类别的样本远多于另一个类别时,就会出现类别不平衡。如果只有 1% 的样本为正类,那么一个始终预测为负类的分类器可以达到 99% 的准确率,却检不出任何正类样本。
处理不平衡的方法包括类别加权目标、重采样和阈值调整。这些措施的作用不同:改变阈值无需重新训练就能改变决策,而加权或重采样则可能改变拟合得到的模型。
重采样还会改变训练时所见的类别比例。因此,预测概率可能需要调整或校准,才能表示目标总体中的概率。通常,仅凭总体准确率不足以描述不平衡任务的表现。
应用与相关任务
常见应用包括:
- 垃圾邮件过滤及其他将文本划分为两类的决策。
- 欺诈筛查与交易审核。
- 制造业中的缺陷检测。
- 二类别图像分类。
- 区分可疑活动与正常活动的安全检测系统。
二分类不同于多分类:在多分类中,每个样本归属于两个以上互斥类别中的一个。多分类系统可以通过一对其余或一对一策略,由多个二分类器构建而成。
在多标签分类中,一个样本可以同时获得多个标签。一种方法是为每个标签训练一个二分类器,但相互独立的模型可能忽略标签之间的依赖关系。
异常检测与二分类相关,但并不相同。它可能只从正常样本或无标签数据中学习,而不是从两个类别都有代表性的带标签样本中学习。对异常分数应用阈值会产生二元决策,但其学习问题仍然不同。
局限性
二元标签可能会简化那些连续、不确定或依赖情境的现象。因此,类别的定义、标注的可靠性,以及模糊样本的处理方式,都是问题定义的一部分,而不只是实现细节。
即使完全掌握给定输入下的类别概率,类别分布的重叠仍可能使某些错误不可避免。信息缺失和标签不一致也会进一步限制可达到的性能。
分布偏移可能改变类别占比、输入特征,或输入与标签之间的关系。因此,在历史数据上表现良好的阈值或校准方法,在部署后可能表现不同。
汇总指标还可能掩盖不同群体或运行条件之间的显著差异。因此,一些系统会在正类和负类决策之外,对不确定的样本增加拒绝判定或人工审核;这使实际决策流程超出了严格意义上只有两种动作的分类器。