aiwiki.page
中文

LeNet

LeNet 是一类用于文档识别的早期卷积神经网络,其中最著名的是手写数字分类器 LeNet-5。

23 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
卷积神经网络反向传播深度学习计算机视觉人工神经网络特征提取多层感知机归纳偏置LeNet

LeNet 是由 Yann LeCun 及其合作者开发的一系列卷积神经网络,用于识别手写字符及其他文档图像。其中最著名的版本 LeNet-5,由 Yann LeCun、Léon Bottou、Yoshua Bengio 和 Patrick Haffner 在 1998 年的论文《基于梯度的学习在文档识别中的应用》(Gradient-Based Learning Applied to Document Recognition)中介绍。LeNet 推动了一种实用网络架构的确立:通过反向传播,将可学习的图像滤波器、空间下采样层和分类层一起进行训练。它是深度学习应用于计算机视觉的奠基性范例。

发展与历史背景

LeNet 源于将人工神经网络应用于文档识别的研究,尤其是手写邮政编码和数字的识别。1989 年发表的研究表明,具有局部连接和权重共享的网络,可以通过基于梯度的训练学会识别手写邮政编码中的数字。后续版本进一步发展了这些思想,形成了通常所说的 LeNet-5 架构。

这种方法不同于先使用人工设计的图像描述子、再交由独立分类器处理的识别流程。LeNet 直接从带标签的样本中学习大部分特征提取过程。与将每个输入像素都连接到下一层每个神经元的做法相比,其架构约束也使图像学习更易于实现。

LeNet 系列网络曾用于文档处理系统,包括读取银行支票上手写金额的系统。这类应用并不只是对单个数字进行分类:字符定位、考虑不同的切分方案,以及施加文档层面的约束,同样十分重要。

LeNet 这一名称指的是一系列网络,而不是某个固定不变的规范。LeNet-5 是通常采用的参考架构,但如今许多被称为“LeNet”的示例,都修改了其激活函数、下采样操作、连接方式或输出层。

架构原理

LeNet 结合了三个核心思想。

局部感受野。 早期卷积层中的神经元处理的是前一层的一小块区域,而不是整幅图像。这体现了一种假设:相邻像素能够构成有用的局部模式,例如边缘、曲线和笔画交汇处。

权重共享。 同一个学习得到的滤波器被应用于不同的空间位置。因此,无须为每个位置分别学习一组参数,就能在整幅图像中检测某种特征。与规模相近的多层感知机相比,这种共享方式显著减少了参数数量。

空间下采样。 下采样层降低特征图的空间分辨率,从而减少后续计算量,并降低表征对位置或局部形状微小变化的敏感程度。

这些设计构成了一种适合图像的归纳偏置。权重共享支持具有平移等变性的特征检测:输入发生平移时,相应的特征响应通常也会随之平移。下采样能够提供有限的平移容忍度,但这两种操作都不能保证完全的平移不变性。

原始 LeNet-5 架构

LeNet-5 处理单通道的 32×3232 \times 32 图像,并输出十个数字类别的得分。原始架构在输入之后包含七个主要处理层:

层 输出形状 操作
输入 1×32×321 \times 32 \times 32 灰度图像
C1 6×28×286 \times 28 \times 28 六个 5×55 \times 5 卷积滤波器
S2 6×14×146 \times 14 \times 14 2×22 \times 2 可训练下采样
C3 16×10×1016 \times 10 \times 10 通道间采用部分连接的 5×55 \times 5 卷积
S4 16×5×516 \times 5 \times 5 2×22 \times 2 可训练下采样
C5 120×1×1120 \times 1 \times 1 120 个覆盖前一层特征图整个空间范围的滤波器
F6 84 个单元 全连接层
输出 10 个得分 欧氏径向基函数单元

各卷积层的步幅均为 1,且不进行空间填充。例如,将一个 5×55 \times 5 滤波器应用于 32×3232 \times 32 的输入,会生成一张 28×2828 \times 28 的特征图。

卷积与激活函数

用现代记法,卷积特征图可以表示为

hj(u,v)=ϕ(bj+∑i∈Cj∑a,bKji(a,b)xi(u+a,v+b)),h_j(u,v)= \phi\left( b_j+ \sum_{i\in\mathcal{C}_j} \sum_{a,b} K_{ji}(a,b)x_i(u+a,v+b) \right),

其中,KjiK_{ji} 是学习得到的卷积核,bjb_j 是偏置,Cj\mathcal{C}_j 指定与输出特征图 jj 相连接的输入特征图。同一组卷积核系数会在所有空间位置重复使用。

原始网络使用经过缩放的双曲正切激活函数,通常写为

ϕ(z)=1.7159 tanh⁡(23z).\phi(z)=1.7159\,\tanh\left(\frac{2}{3}z\right).

将其替换为修正线性单元是现代实现中的常见修改,并不属于原始规范。

可训练下采样

S2 和 S4 层常被非正式地描述为平均池化层,但原始操作更为具体。每个单元先对一个 2×22 \times 2 区域求和,将该和乘以一个学习得到的系数,再加上学习得到的偏置,最后应用激活函数。每张输出特征图内共享一个系数和一个偏置。

因此,原始下采样层具有可训练参数。它既不是无参数的平均池化,也不是最大池化,尽管后来的 LeNet 风格实现中都使用过这两种池化方式。

C3 中的部分连接

C3 并未将每张输出特征图都与 S2 的全部六张特征图相连接,而是采用预先规定的连接模式:部分输出特征图接收三张输入特征图,另一些接收四张,还有一张接收全部六张。

这种做法减少了计算量,也促使不同的特征图学习不同的特征组合。因此,使用标准卷积、让每张输出特征图都连接全部输入通道的现代实现,与原始架构并不相同。

C5、F6 与输出层

C5 将 5×55 \times 5 卷积核应用于本身尺寸就是 5×55 \times 5 的 S4 特征图,因此生成的每张特征图都只有一个空间位置。对于这一输入尺寸,C5 的行为相当于全连接变换,尽管它在定义上是卷积层。

F6 将 C5 的 120 个输出映射到 84 个单元。随后,原始输出层计算这一表征与各类别原型向量之间的距离平方:

dk=∑j=184(hj−wkj)2.d_k=\sum_{j=1}^{84}(h_j-w_{kj})^2.

距离越小,表示与类别 kk 越匹配。原始设计使用基于风格化字符图案的固定原型编码。这与当今分类器中常见的可训练仿射层加 softmax 输出的设计不同。

原始架构约有 60,000 个可训练参数。现代变体报告的参数数量有所不同,因为对 C3 连接方式、下采样和输出分类器的修改都会改变参数总量。

训练与评估

LeNet 通过监督学习进行训练:带标签的图像提供目标字符类别,损失函数衡量分类误差,梯度则沿网络反向传播,以更新网络参数。原始研究考察了适用于其基于距离的输出单元的训练目标,而不是简单地采用如今教程中常见的 softmax 交叉熵形式。

LeNet-5 与 MNIST 密切相关。MNIST 是一个手写数字基准数据集,包含 60,000 张训练图像和 10,000 张测试图像。MNIST 图像的尺寸为 28×2828 \times 28 像素,而标准 LeNet-5 的输入尺寸为 32×3232 \times 32;预处理时可以将较小的图像置于较大的画布中。

报告的错误率取决于预处理、训练流程、架构细节,以及是否使用数据增强。因此,修改版“LeNet”实现取得的结果,并不能自动视为原始 LeNet-5 的结果。要进行有意义的比较,必须明确具体模型,并确保测试集不参与模型选择。

应用与影响

LeNet 在历史上的主要应用是光学字符识别,尤其是结构化文档中的手写数字识别。它更广泛的意义在于证明了学习得到的卷积表征能够支撑实用的识别系统。

这一架构确立了一种后来在图像分类中普遍采用的模式:交替进行空间特征提取和分辨率降低,在更深的层中增加特征通道数,并对最终得到的表征进行分类。后来的网络,如 AlexNet,采用了规模大得多的模型和数据集,但仍保留了这一模式的重要要素。

LeNet 至今仍是一种实用的教学架构。由于规模较小,学习者无须承担大型视觉模型的计算开销,就能考察特征图尺寸、权重共享、感受野和基于梯度的学习。PyTorch 和 TensorFlow 的示例实现经常使用简化的类 LeNet 网络来说明这些概念。

局限性与实现差异

LeNet-5 是为经过归一化处理的小尺寸灰度字符图像设计的,而不是为不受限制的自然图像识别设计的。其有限的容量和固定设计,限制了它在涉及大尺寸图像、复杂背景、大量物体类别或显著视角变化的任务中的表现。

其局部连接和下采样只能提供对几何变化的部分鲁棒性。旋转、尺度变化、不常见的书写风格,以及图像采集方式的变化,仍可能影响预测。在干净的数字基准数据集上表现良好,本身并不能证明模型在分布偏移下具有鲁棒性。

与采用现代非饱和激活函数的网络相比,原始网络使用的饱和型激活函数也可能使优化更为困难。此外,当代架构还采用批量归一化和残差连接等技术,而这些都不属于标准 LeNet-5。

现代复现中的常见差异包括:

  • 直接接受 28×2828 \times 28 的输入,而不是 32×3232 \times 32 的输入。
  • 用平均池化或最大池化替代可训练下采样。
  • 将 C3 的通道连接全部改为稠密连接。
  • 用修正线性单元替代经过缩放的双曲正切函数。
  • 使用可训练的十分类线性输出层和交叉熵损失。

这些变体保留了 LeNet 的总体模式,但要精确复现原始网络,就必须采用与原版一致的连接方式、非线性函数、下采样规则、输出单元和训练目标。