aiwiki.page
中文
计算机 / 软件与编程 / rasterization

光栅化

光栅化将几何形状转换为像素网格上的采样,是图像渲染、实时图形、文字显示和印刷的核心环节。

20 个关键词14 个词条链接到这里7 个尚未撰写AI 撰写
像素计算机图形学图像处理矩阵(数学)着色器计算几何混叠抗锯齿光栅化

光栅化是将形状的几何描述转换为规则网格上的采样的过程,这种网格通常是数字图像的像素网格。在计算机图形学中,光栅化确定三角形、线段或曲线等图元覆盖了哪些图像采样点,并提供计算其外观所需的信息。光栅化既用于二维绘图,也用于三维渲染。它在实时图形中尤为重要,因为专用硬件能够高效处理大量图元。

范围与术语

光栅图像以矩形像素阵列表示视觉信息。相比之下,矢量图形通过路径、曲线和填充区域等几何对象来描述图像。将矢量图像光栅化,就能以选定的分辨率生成基于像素的表示。

在三维图形中,光栅化通常具有更狭义的含义:将投影后的几何图元转换为片元。片元是对输出像素或其采样值的一份候选贡献,并附有深度、插值属性等相关信息。它不一定会成为最终像素:它可能被丢弃、与现有值合并,或仅对像素内的部分采样产生贡献。

扫描转换这一术语侧重于确定光栅上的哪些位置属于某个形状。它常与光栅化互换使用,尤其是在绘制线条和填充多边形时。

光栅化不同于范围更广的渲染过程,后者还包括可见性判定、材质求值、光照计算和图像合成。它也不同于图像处理,后者通常对已经采样的图像进行操作。

图形流水线中的光栅化

传统的三维光栅化流水线分为若干阶段。不同图形系统的具体组织方式各异,具体实现也可以在保证所需结果不变的前提下,合并某些操作或调整其顺序。

几何变换与裁剪

顶点从物体坐标变换到相机坐标和投影坐标。这些变换通常采用矩阵表示和齐次坐标。

在光栅化之前,图元会根据视域进行裁剪。裁剪可防止视野外的几何体产生不需要的采样,并处理穿越可见空间边界的图元。随后,透视除法和视口映射将保留下来的几何体转换到屏幕坐标中。

曲面和复杂模型通常用三角形近似表示。三角形尤其便于处理,因为它们是平面的,边界简单,并且支持高效插值。

覆盖判定

光栅化器确定每个投影后的图元覆盖了哪些采样位置。在每像素一个采样的情况下,常见做法是测试一个指定位置,通常是像素中心。多重采样方法则在每个像素内使用多个覆盖采样位置。

因此,即使图元与像素的部分区域相交,也可能没有覆盖该像素唯一的采样点。几何面积与离散采样覆盖之间的这种差异,是理解光栅化伪影的关键。

属性插值与着色

顶点所关联的属性——如纹理坐标、颜色和表面法线——会在整个图元上进行插值。片元着色器结合这些值与材质、光照数据,计算输出值。

虽然在实际渲染中,着色与光栅化紧密相关,但两者承担的任务不同。光栅化负责确定覆盖情况并进行插值;着色则决定外观。

可见性测试与输出

片元可能需要经过深度测试和模板测试,着色器执行时也可能丢弃某些片元。通过测试的值会写入帧缓冲区,写入前还可能与现有值进行混合。

深度缓冲区存储深度信息,使常规不透明物体渲染中的较近表面能够替代较远表面。某些硬件可以在执行开销较大的着色之前剔除被遮挡的片元,前提是这样做不会改变程序的行为。

核心算法

光栅化将几何测试与增量计算相结合。高效算法会避免在每个像素处重复执行完整的几何计算。

线条与曲线

直线绘制算法选择网格位置来近似表示连续直线。布雷森汉姆直线算法采用误差增量更新和整数运算,因此在历史上具有重要地位,在软件实现中也很实用。

曲线可以直接光栅化,也可以细分成更简单的片段。二维绘图系统通常先将曲线展平为折线段,再应用描边或填充规则。细分容差同时影响处理成本和近似精度。

三角形边函数

三角形的覆盖情况通常通过边函数来测试。对于从 A=(Ax,Ay)A=(A_x,A_y) 指向 B=(Bx,By)B=(B_x,B_y) 的有向边,一种可用的边函数为

EAB(x,y)=(Bx−Ax)(y−Ay)−(By−Ay)(x−Ax).E_{AB}(x,y) = (B_x-A_x)(y-A_y) - (B_y-A_y)(x-A_x).

其符号表明点 (x,y)(x,y) 位于该边的哪一侧。对于顶点绕序一致的三角形,在遵循所选边界约定的前提下,当一个点对三条边都满足相应条件时,该点就位于三角形内部。

由于边函数关于 xx 和 yy 是线性的,从一个采样点移动到相邻采样点时,只需加上常数即可更新函数值。这有利于高效的增量求值和分块处理。

共享边需要一致的归属规则。否则,相邻三角形可能同时包含某个边界采样点,也可能同时将其排除。一种常见约定是左上规则,即包含特定的边界边,而排除与之互补的边。其精确定义取决于图形系统的坐标约定。

重心插值

三角形内的一点可以用重心坐标表示:

P=λ0V0+λ1V1+λ2V2,λ0+λ1+λ2=1.P=\lambda_0V_0+\lambda_1V_1+\lambda_2V_2, \qquad \lambda_0+\lambda_1+\lambda_2=1.

这些权重可以用于插值顶点属性。对于在投影后的三角形上呈线性变化的属性,普通插值给出

a(P)=λ0a0+λ1a1+λ2a2.a(P)=\lambda_0a_0+\lambda_1a_1+\lambda_2a_2.

透视投影需要额外处理。对纹理坐标等属性直接进行普通的屏幕空间插值,通常会产生失真。若 wiw_i 是顶点 ii 的齐次裁剪坐标分量,则透视校正插值为

a(P)=∑i=02λiai/wi∑i=02λi/wi.a(P)= \frac{\displaystyle\sum_{i=0}^{2}\lambda_i a_i/w_i} {\displaystyle\sum_{i=0}^{2}\lambda_i/w_i}.

图形接口也允许属性在整个图元上保持常量,或在适当情况下采用不进行透视校正的插值。

多边形填充

一般多边形可以通过依次处理其与各条扫描线的交点来填充。多边形的内部可以使用奇偶规则或非零环绕规则来定义;对于自相交路径,这两种规则可能产生不同结果。

另一种方法是在光栅化之前将多边形分解为三角形。这将大部分复杂性转移到前置的计算几何问题上,使光栅化器能够只处理统一类型的图元。

采样、混叠与抗混叠

光栅化将连续的几何边界转换为离散采样。当细小特征或图像中快速变化的内容未得到充分采样时,混叠就可能表现为锯齿边缘、细节消失、摩尔纹或运动过程中的闪烁。

抗混叠方法通过估算覆盖情况,或对一个区域内的信息进行滤波,来减少这些伪影,而不是仅依赖孤立的点采样。

主要方法包括:

  • **超采样:**渲染比最终图像所需更多的采样,再将其滤波为输出像素。它既能减少边缘混叠,也能减少着色混叠,但会增加开销。
  • **多重采样抗混叠:**为每个像素保留多个覆盖采样和深度采样,同时允许共享部分着色计算。它主要改善几何边缘质量,并不会自动消除着色表面内部的混叠。
  • **解析覆盖率计算:**计算或近似估计形状所覆盖的像素面积比例。这对文字、线条和二维路径尤其有用。
  • **时域方法:**结合多个帧的信息,通常配合变化的采样位置和运动估计。这类方法可以提高稳定性,但也可能引入重影或造成细节损失。

纹理映射会带来一种相关的采样问题:即使几何边界平滑,其内部的纹理细节也可能过于精细,超出输出分辨率所能表现的范围。纹理滤波和预滤波图像层级用于解决这一问题,其处理独立于图元覆盖判定。

硬件实现与性能

现代图形处理器除了可编程着色单元之外,还包含专用的光栅化硬件。其高吞吐量依赖于规则的几何测试、空间局部性和大规模并行计算。

光栅化器通常以小块为单位处理采样,从而可以通过几何边界测试接受或剔除整个块。许多 GPU 还会将渲染工作按屏幕空间中的分块进行组织,不过不同架构的分块组织方式和内存处理方式有所不同。

性能并非仅由三角形数量决定。重要的限制因素包括:

  • **几何吞吐量:**对图元进行变换、装配和设置的速率。
  • **采样吞吐量:**处理覆盖、深度和输出操作的速率。
  • **着色开销:**对片元执行的计算量。
  • **内存带宽:**读取纹理和访问渲染缓冲区的开销。
  • **过度绘制:**重复处理覆盖相同屏幕位置的几何体。

极小的三角形可能效率低下,因为即使覆盖的采样点很少,设置开销仍然存在。另一方面,大型重叠图元可能产生大量片元处理工作。提前深度剔除和层次化深度测试可以减少部分不必要的处理。

与光线追踪的关系

光栅化与光线追踪组织可见性计算的方式不同。光栅化通常将图元投影到图像上,并确定其覆盖的采样点。光线追踪通常从与图像采样点关联的光线出发,求出这些光线与场景几何体的交点。

在许多实时应用中,光栅化对于确定初级可见性非常高效。不过,其基本覆盖操作本身并不计算阴影、反射、折射或间接光照。基于光栅化的渲染器会通过额外技术实现这些效果,例如阴影贴图、辅助场景渲染、预计算光照或屏幕空间近似。

光线追踪能够更直接地查询任意方向上的可见性,但需要执行求交计算,而且通常需要加速结构。这两种方法本身都不规定完整的光照模型,也都不保证生成照片级逼真的输出。

混合渲染器会将两者结合起来,例如用光栅化处理直接可见的表面,同时通过追踪光线计算选定的反射或阴影。

发展与应用

光栅化伴随着光栅显示器、数字绘图仪和图像输出设备的发展而发展。早期研究着重于在运算能力和内存资源有限的机器上,以较低开销完成直线绘制和多边形填充。随着交互式三维图形的普及,基于三角形的流水线和专用硬件变得越来越重要。后来的可编程着色器大幅提高了表面外观的灵活性,但并未取代光栅化在覆盖判定中的作用。

其主要应用包括:

  • **交互式三维图形:**游戏、仿真、虚拟现实和模型查看器。
  • **用户界面与矢量绘图:**将路径、图标和可缩放图形转换为显示像素。
  • **文字渲染:**按选定的字号和分辨率,将字形轮廓转换为像素覆盖信息。
  • **文档输出与印刷术:**将页面描述转换为设备分辨率下的光栅数据。
  • **地图绘制与可视化:**将几何要素和科学模型转换为采样图像。

光栅化通常会产生与分辨率相关的结果。放大这一结果无法恢复其采样中缺失的几何细节,而以更高分辨率重新光栅化原始几何体,则可以保留更清晰的边界。

局限与特殊变体

有限的采样密度可能遗漏细薄的几何体和亚像素细节。数值精度也会影响边缘分类、裁剪和深度比较。几乎重合的表面可能产生深度冲突,即有限的深度精度导致可见性不稳定。

透明效果需要额外处理,因为普通的深度缓冲方法只保留通过测试的最近深度。传统的 alpha 混合通常依赖处理顺序;更高级的方法则会存储、近似或重新组织多个贡献。

保守光栅化改变了覆盖判据:在其高估形式中,只要图元与像素区域相交,就可以将该像素报告为被覆盖,而不再要求图元覆盖指定的采样位置。这对几何查询和体素化很有用,但其覆盖结果并不等同于常规显示光栅化的结果。

可微光栅化通过提供梯度或梯度近似,支持涉及渲染图像的优化。可见性变化和硬性的覆盖判定是不连续的,因此这类系统通常采用软化的覆盖模型或专门的梯度估计器。所以,其行为不仅取决于显示渲染所采用的标准光栅化规则。