泄漏修正线性单元(Leaky ReLU)是用于人工神经网络的一种激活函数,它原样输出正输入,并将负输入乘以一个较小的正常数。它在修正线性单元(ReLU)的基础上,将水平的负半轴分支替换为一条倾斜直线。这样,负输入也能产生非零输出,并在训练过程中传递梯度,从而减少普通 ReLU 单元因负半轴梯度为零而失活的情况。
定义
对于实数输入 ,Leaky ReLU 通常定义为
其中, 是固定的超参数,通常满足 。该参数称为负半轴斜率或泄漏系数。常用取值为 ,但不存在普遍适用的最优设置。
在这一常规参数范围内,等价表达式为
例如,当 时,输入 得到的输出为 ,而输入 得到的输出为 。对于后一个输入,普通 ReLU 的输出为零。
应用于向量或张量时,该函数通常独立作用于每个元素,不会混合不同通道或特征之间的信息。
当参数取 和 时,该函数分别退化为普通 ReLU 和恒等函数。后一种情况会消除该激活函数的非线性。
数学性质
Leaky ReLU 是连续的分段线性函数。当 时,它严格递增、为凸函数,且在正负两个方向上均无界。它在非零处的导数为
除非 ,否则该函数在零点不可微。软件实现在该点进行反向计算时会采用某种约定值;这一约定值并不是经典意义上的导数。
Leaky ReLU 具有正齐次性:
因此,与普通 ReLU 一样,按非负因子缩放输入,等同于按相同因子缩放输出。与 ReLU 不同的是,它不会将整个负半轴映射为同一个值。当 时,其标量映射可逆,但包含 Leaky ReLU 的神经网络不一定可逆。
梯度传播与单元失活
神经网络通常使用反向传播来计算损失函数随模型参数的变化。若某个单元的激活前输入为 ,则局部梯度关系为
对于普通 ReLU,当 时,。如果某个单元对所有相关训练样本的激活前输入均为负值,那么经过该激活函数的梯度就会变为零,使该单元的输入端参数无法通过这条路径获得更新。这通常称为 ReLU 死亡问题。
Leaky ReLU 用 替代了为零的局部梯度乘数。因此,负半轴上的激活也能传递梯度,使原本可能失活的单元能够在优化过程中发生变化。
这并不保证每个单元都能获得有效更新。上游梯度本身可能为零,而较小的 仍会衰减梯度。在多层网络中,反复乘以较小的斜率可能加剧梯度消失问题。Leaky ReLU 解决的是梯度受阻的一种成因,而非深层网络训练中的所有困难。
发展与应用
Andrew L. Maas、Awni Y. Hannun 和 Andrew Y. Ng 在 2013 年关于神经网络声学模型中整流非线性的研究中描述了泄漏整流函数。此后,它成为深度学习中整流激活函数家族的常用成员。
Leaky ReLU 可用作多层感知机和卷积神经网络的隐藏层激活函数。它也被用于生成对抗网络的判别器中,通过保留负半轴上的梯度,提供了一种不同于直接截断的处理方式。
它的计算开销很低:每个元素只需根据输入的正负,在原始输入与缩放后的输入之间进行选择。斜率固定时,它不会引入任何可训练参数。
PyTorch 和 TensorFlow 等库均提供了相应实现。不同接口的参数名称和默认斜率可能不同,因此仅指定“Leaky ReLU”并不能完全确定模型的数值行为。
相关激活函数
几种相关函数对负输入采取了不同的处理方式:
- 普通 ReLU 对所有负输入均输出零。它能产生精确为零的激活值,但也可能阻断负半轴分支上的梯度。
- 参数化修正线性单元(PReLU) 使用相同的基本分段公式,但在训练过程中学习负半轴斜率。该斜率可以由多个单元共享,也可以为各通道单独设置。
- 随机化 Leaky ReLU 在训练期间从指定区间中抽取负半轴斜率。部分实现在推理时使用固定的代表性斜率。
- 指数线性单元(ELU) 使用指数形式的负半轴分支。与 Leaky ReLU 不同,它的负输出趋近于一个有限的下界。
这些差异会影响梯度传播、激活值分布、计算需求,以及是否需要学习额外参数。
局限性与设计权衡
Leaky ReLU 以放弃 ReLU 在负半轴上精确为零的输出为代价,保留了对负输入的响应。因此,它无法产生与 ReLU 相同的激活稀疏性:负输入通常会得到较小的负输出,而不是零。
负半轴斜率决定了其中的权衡。取值很小时,函数十分接近 ReLU,但只能传递较弱的负半轴梯度。取值接近一时,函数则近乎线性,削弱了激活函数所提供的非线性。其效果取决于网络架构、数据、优化设置,以及与批量归一化和残差连接等组件的相互作用。
Leaky ReLU 并不保证激活值以零为中心、激活值方差稳定、收敛更快或预测准确率更高。允许负输出本身并不意味着输出均值为零。此外,它在原点仍然不可微。
初始化方案可以将其负半轴斜率考虑在内。在方差保持初始化所采用的简化假设下,适用于广义整流激活函数的一种常见缩放方式为
其中, 是一个单元的输入数量。这种方式近似补偿了激活函数对信号幅度的影响,但不能保证任意架构中的训练都保持稳定。