aiwiki.page
中文
计算机 / 人工智能 / histogram-of-oriented-gradients

方向梯度直方图

方向梯度直方图通过具有空间组织的边缘方向分布描述局部形状,广泛用于传统目标检测。

15 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
计算机视觉特征提取训练数据支持向量机目标检测深度学习像素图像分类方向梯度直…

**方向梯度直方图(HOG)**是计算机视觉中用于描述图像中物体外观和形状的一种特征提取方法。它将图像区域划分为若干小的空间单元,在每个单元内累积局部强度梯度方向的直方图,再对相邻单元组成的组进行归一化,以降低对局部对比度的敏感性。由此得到的数值描述子表示的是边缘与轮廓的分布,而非原始像素强度。2005 年,纳夫尼特·达拉尔(Navneet Dalal)和比尔·特里格斯(Bill Triggs)提出相关方法后,HOG 在行人检测领域产生了尤为深远的影响。

原理

图像梯度衡量图像强度变化的快慢及其方向。物体边界、表面纹理标记和其他可见结构处往往存在较强的梯度。虽然单个梯度对噪声和微小位移较为敏感,但梯度在局部区域内的分布能够提供相对稳定的外观描述。

HOG 结合了三个核心思想:

  • **方向池化:**用直方图汇总局部梯度方向,而不是分别保留每个像素处的方向。
  • **空间组织:**将直方图分配给网格排列的单元,保留对图像结构所在位置的粗略描述。
  • **局部归一化:**对相邻单元的直方图一起进行归一化,以减轻光照和对比度变化的影响。

因此,这种描述子并非只是对边缘方向进行全局计数。例如,其空间排列能够区分两类图像区域:一类在两侧附近具有较强的垂直边缘,另一类则将相同的边缘集中在中心。

HOG 是一种人工设计的表示:其特征提取规则是预先指定的,而不是从训练数据中学习得到的。在这些特征上训练的分类器,则提供针对具体任务的判别规则。

历史发展

基于方向描述视觉结构的方法早于 HOG 出现。早期方法采用了按方向统计边缘数量的方式,尺度不变特征变换(SIFT)也利用局部方向直方图构造描述子。

达拉尔和特里格斯在 2005 年发表于 IEEE 计算机视觉与模式识别会议的论文《用于人体检测的方向梯度直方图》(Histograms of Oriented Gradients for Human Detection)中,确立了影响深远的 HOG 方法。他们的实验表明,细尺度梯度计算、相对粗粒度的方向分箱以及局部对比度归一化,对人体检测十分重要。他们的检测器将密集 HOG 描述子与线性支持向量机相结合。

此后,HOG 成为传统目标检测的标准组成部分。可变形部件模型也使用了相关的特征表示,通过全局模板和空间位置可灵活变化的部件来表示物体。随着深度学习的兴起,学习得到的表示在许多高性能检测系统中取代了 HOG;不过,HOG 仍可作为一种紧凑、易于理解的基线方法,也在一些资源受限的应用中发挥作用。

描述子的构建

HOG 并没有唯一且普遍固定的实现方式。单元大小、方向约定、插值方式、归一化方法和图像预处理都会影响描述子。

图像预处理与梯度计算

输入区域可以先进行强度或颜色归一化,例如采用平方根变换,以减弱较大强度值的影响。这类预处理是可选的,与 HOG 核心的局部块归一化不同。

对于灰度图像 I(x,y)I(x,y),可以用简单的水平和垂直有限差分来近似梯度:

gx(x,y)=I(x+1,y)−I(x−1,y),g_x(x,y)=I(x+1,y)-I(x-1,y),
gy(x,y)=I(x,y+1)−I(x,y−1).g_y(x,y)=I(x,y+1)-I(x,y-1).

梯度幅值和方向分别为

m(x,y)=gx(x,y)2+gy(x,y)2,m(x,y)=\sqrt{g_x(x,y)^2+g_y(x,y)^2},
θ(x,y)=atan2⁡(gy(x,y),gx(x,y)).\theta(x,y)=\operatorname{atan2}\bigl(g_y(x,y),g_x(x,y)\bigr).

也可以使用其他求导滤波器,并且必须明确边界处理方式。对于彩色图像,一种常见做法是分别计算各通道的梯度,然后在每个位置选择梯度幅值最大的通道。这样既能保留较强的颜色边界,又不必将各通道的独立描述子拼接起来。

单元方向直方图

图像区域被划分为若干小单元,常见大小为 8×88\times8 像素。每个像素都向其所在单元的方向直方图投票,通常以梯度幅值作为投票权重。因此,强边缘的贡献大于微弱的强度变化。

一种常见的行人检测配置使用九个方向分箱,覆盖 0∘0^\circ 至 180∘180^\circ。这采用的是无符号梯度:相差 180∘180^\circ 的方向归为同一方向。因此,从暗到亮的过渡与相应的从亮到暗的过渡具有相同的方向。

其他实现也会采用覆盖 0∘0^\circ 至 360∘360^\circ 的有符号梯度,或使用不同数量的分箱。

投票时通常会在相邻方向分箱之间进行插值,以避免梯度方向跨越分箱边界时产生突变。投票也可以分配给相邻的空间单元。这类插值能够提高图像发生微小平移时的稳定性;具体的投票方案因实现而异。

块归一化

一个块由若干相邻单元组成,通常按 2×22\times2 排列。将这些单元的直方图拼接成向量 vv,经归一化后再纳入描述子。

基本的 L2 归一化为

v^=v∥v∥22+ε2,\hat v=\frac{v}{\sqrt{\lVert v\rVert_2^2+\varepsilon^2}},

其中,ε>0\varepsilon>0 用于稳定低对比度区域中的计算。

广泛使用的 L2-Hys 方法首先进行 L2 归一化,再将较大的分量截断至某个阈值(通常为 0.20.2),然后对向量再次归一化。截断能够限制少数占主导地位的梯度响应的影响。其他变体使用 L1 归一化,或先进行基于 L1 的归一化,再逐元素取平方根。

块通常相互重叠。因此,一个单元可以参与多个块,并在多个不同的局部邻域中接受归一化。这种重复参与是有意设计的:虽然会增大描述子的维度,但能够提高鲁棒性。

拼接与维度

将归一化后的块向量按固定的空间顺序拼接,即可得到最终的特征向量。

若一个图像区域包含 nx×nyn_x\times n_y 个单元,每个块包含 bx×byb_x\times b_y 个单元,且块的步长为一个单元,则描述子的长度为

D=(nx−bx+1)(ny−by+1)bxbyK,D=(n_x-b_x+1)(n_y-b_y+1)b_xb_yK,

其中,KK 为每个单元的方向分箱数。

一种经常被引用的配置为:

  • 检测窗口宽 64 像素、高 128 像素;
  • 单元大小为 8×88\times8 像素;
  • 每个块包含 2×22\times2 个单元;
  • 块的步长为一个单元;
  • 使用九个方向分箱。

该窗口包含 8×168\times16 个单元和 7×157\times15 个块位置,因此

D=7⋅15⋅2⋅2⋅9=3780.D=7\cdot15\cdot2\cdot2\cdot9=3780.

这一维度仅对应上述特定配置,而不是所有 HOG 的通用维度。不同的边界约定、填充方式、步长或特征变体都可能改变输出。

在检测与识别中的应用

HOG 是一种表示,而不是完整的检测器或分类器。它可以为图像分类、目标定位或其他识别任务提供输入特征。

在传统行人检测器中,一个固定大小的窗口在图像上滑动。线性分类器为每个窗口计算一个得分:

s(x)=w⊤ϕ(x)+b,s(x)=w^\top\phi(x)+b,

其中,ϕ(x)\phi(x) 是窗口的 HOG 描述子,ww 和 bb 是学习得到的参数。

对于不同大小的目标,通常通过扫描图像的多个缩放版本来处理,这些版本往往称为图像金字塔。由于相邻窗口相互重叠,检测器可能为同一个目标返回多个候选框。通常使用非极大值抑制来减少这些重复检测。

训练通常需要包含目标物体的正样本和不含目标物体的负样本。难负样本挖掘会收集被当前分类器误判为目标的背景区域,并将其加入后续轮次的训练中,从而使学习过程重点关注难以区分的背景模式。

HOG 也用于车辆检测、字符识别、纹理识别,以及其他能够利用局部形状信息的任务。其效果取决于图像领域、目标对齐情况、特征设置和分类器;它在行人检测中的成功,并不意味着对所有视觉任务都同样适用。

鲁棒性与局限

光照与对比度

只要图像未发生截断或其他非线性变换,使用梯度就能消除对均匀加性亮度偏移的敏感性。块归一化还能够降低对局部对比度乘性变化的敏感性。

这种鲁棒性是有限的。阴影、饱和、强烈的光照变化以及非线性图像处理,都可能改变可见边缘或边缘之间的相对强度。HOG 并不具备完全的光照不变性。

位置、尺度与旋转

单元内的池化与插值使 HOG 能够容忍小幅平移和局部形变。不过,其固定的空间排列仍使它对较大的位移、姿态变化和对齐偏差较为敏感。

标准的密集 HOG 本身既不具备尺度不变性,也不具备旋转不变性。尺度变化通常通过图像金字塔或调整输入区域大小来处理。物体旋转会同时改变其梯度方向和特征的空间排列。SIFT 等经过旋转归一化的局部描述子,则针对另一种设计目标。

信息损失

HOG 会有意舍弃精细的空间细节,通常也会舍弃梯度极性。标准变体显式保留的颜色信息也很少。因此,不同的图像块即使表示不同物体,也可能产生相似的描述子。

遮挡会使预期空间模式中的部分内容缺失,而纹理复杂的背景则可能产生具有误导性的边缘分布。模糊和低分辨率会削弱描述子所依赖的轮廓。

计算成本与实现差异

梯度计算和直方图累积所需的操作相对简单。密集特征图也可以在相互重叠的检测窗口之间重复使用。不过,扫描大量位置和尺度仍可能带来较高的计算成本,尤其是在步长较小时。

HOG 的参数是超参数,而不是无关紧要的设置。在求导滤波器、投票插值、归一化、单元布局或向量排列顺序上存在差异的实现,未必会产生相互兼容的描述子。不能仅仅因为两种实现都将其特征称为“HOG”,就认定用其中一种实现训练的分类器能够在另一种实现上正确工作。

与学习型视觉特征的关系

HOG 是特征工程的典型实例。它将“局部边缘方向及其空间分布有助于识别”这一假设直接融入表示之中。

相比之下,卷积神经网络从数据中学习滤波器以及逐层形成的表示。学习得到的早期滤波器往往会对边缘或具有方向性的模式产生响应,但这种相似性并不意味着神经网络等同于 HOG:学习型系统能够编码纹理、形状、上下文和语义信息的更复杂组合。

HOG 提取本身不需要特征学习阶段,可配置选项也相对较少。不过,面向具体任务的分类器仍需要具有代表性的标注数据,由此构建的系统也仍然容易受到分布偏移的影响。在当今实践中,当应用看重明确且固定的表示、较低的计算需求,或需要与传统基线方法进行比较时,HOG 尤其具有价值。