光栅化是将形状的几何描述转换为规则网格上的采样的过程,这种网格通常是数字图像的像素网格。在计算机图形学中,光栅化确定三角形、线段或曲线等图元覆盖了哪些图像采样点,并提供计算其外观所需的信息。光栅化既用于二维绘图,也用于三维渲染。它在实时图形中尤为重要,因为专用硬件能够高效处理大量图元。
范围与术语
光栅图像以矩形像素阵列表示视觉信息。相比之下,矢量图形通过路径、曲线和填充区域等几何对象来描述图像。将矢量图像光栅化,就能以选定的分辨率生成基于像素的表示。
在三维图形中,光栅化通常具有更狭义的含义:将投影后的几何图元转换为片元。片元是对输出像素或其采样值的一份候选贡献,并附有深度、插值属性等相关信息。它不一定会成为最终像素:它可能被丢弃、与现有值合并,或仅对像素内的部分采样产生贡献。
扫描转换这一术语侧重于确定光栅上的哪些位置属于某个形状。它常与光栅化互换使用,尤其是在绘制线条和填充多边形时。
光栅化不同于范围更广的渲染过程,后者还包括可见性判定、材质求值、光照计算和图像合成。它也不同于图像处理,后者通常对已经采样的图像进行操作。
图形流水线中的光栅化
传统的三维光栅化流水线分为若干阶段。不同图形系统的具体组织方式各异,具体实现也可以在保证所需结果不变的前提下,合并某些操作或调整其顺序。
几何变换与裁剪
顶点从物体坐标变换到相机坐标和投影坐标。这些变换通常采用矩阵表示和齐次坐标。
在光栅化之前,图元会根据视域进行裁剪。裁剪可防止视野外的几何体产生不需要的采样,并处理穿越可见空间边界的图元。随后,透视除法和视口映射将保留下来的几何体转换到屏幕坐标中。
曲面和复杂模型通常用三角形近似表示。三角形尤其便于处理,因为它们是平面的,边界简单,并且支持高效插值。
覆盖判定
光栅化器确定每个投影后的图元覆盖了哪些采样位置。在每像素一个采样的情况下,常见做法是测试一个指定位置,通常是像素中心。多重采样方法则在每个像素内使用多个覆盖采样位置。
因此,即使图元与像素的部分区域相交,也可能没有覆盖该像素唯一的采样点。几何面积与离散采样覆盖之间的这种差异,是理解光栅化伪影的关键。
属性插值与着色
顶点所关联的属性——如纹理坐标、颜色和表面法线——会在整个图元上进行插值。片元着色器结合这些值与材质、光照数据,计算输出值。
虽然在实际渲染中,着色与光栅化紧密相关,但两者承担的任务不同。光栅化负责确定覆盖情况并进行插值;着色则决定外观。
可见性测试与输出
片元可能需要经过深度测试和模板测试,着色器执行时也可能丢弃某些片元。通过测试的值会写入帧缓冲区,写入前还可能与现有值进行混合。
深度缓冲区存储深度信息,使常规不透明物体渲染中的较近表面能够替代较远表面。某些硬件可以在执行开销较大的着色之前剔除被遮挡的片元,前提是这样做不会改变程序的行为。
核心算法
光栅化将几何测试与增量计算相结合。高效算法会避免在每个像素处重复执行完整的几何计算。
线条与曲线
直线绘制算法选择网格位置来近似表示连续直线。布雷森汉姆直线算法采用误差增量更新和整数运算,因此在历史上具有重要地位,在软件实现中也很实用。
曲线可以直接光栅化,也可以细分成更简单的片段。二维绘图系统通常先将曲线展平为折线段,再应用描边或填充规则。细分容差同时影响处理成本和近似精度。
三角形边函数
三角形的覆盖情况通常通过边函数来测试。对于从 指向 的有向边,一种可用的边函数为
其符号表明点 位于该边的哪一侧。对于顶点绕序一致的三角形,在遵循所选边界约定的前提下,当一个点对三条边都满足相应条件时,该点就位于三角形内部。
由于边函数关于 和 是线性的,从一个采样点移动到相邻采样点时,只需加上常数即可更新函数值。这有利于高效的增量求值和分块处理。
共享边需要一致的归属规则。否则,相邻三角形可能同时包含某个边界采样点,也可能同时将其排除。一种常见约定是左上规则,即包含特定的边界边,而排除与之互补的边。其精确定义取决于图形系统的坐标约定。
重心插值
三角形内的一点可以用重心坐标表示:
这些权重可以用于插值顶点属性。对于在投影后的三角形上呈线性变化的属性,普通插值给出
透视投影需要额外处理。对纹理坐标等属性直接进行普通的屏幕空间插值,通常会产生失真。若 是顶点 的齐次裁剪坐标分量,则透视校正插值为
图形接口也允许属性在整个图元上保持常量,或在适当情况下采用不进行透视校正的插值。
多边形填充
一般多边形可以通过依次处理其与各条扫描线的交点来填充。多边形的内部可以使用奇偶规则或非零环绕规则来定义;对于自相交路径,这两种规则可能产生不同结果。
另一种方法是在光栅化之前将多边形分解为三角形。这将大部分复杂性转移到前置的计算几何问题上,使光栅化器能够只处理统一类型的图元。
采样、混叠与抗混叠
光栅化将连续的几何边界转换为离散采样。当细小特征或图像中快速变化的内容未得到充分采样时,混叠就可能表现为锯齿边缘、细节消失、摩尔纹或运动过程中的闪烁。
抗混叠方法通过估算覆盖情况,或对一个区域内的信息进行滤波,来减少这些伪影,而不是仅依赖孤立的点采样。
主要方法包括:
- **超采样:**渲染比最终图像所需更多的采样,再将其滤波为输出像素。它既能减少边缘混叠,也能减少着色混叠,但会增加开销。
- **多重采样抗混叠:**为每个像素保留多个覆盖采样和深度采样,同时允许共享部分着色计算。它主要改善几何边缘质量,并不会自动消除着色表面内部的混叠。
- **解析覆盖率计算:**计算或近似估计形状所覆盖的像素面积比例。这对文字、线条和二维路径尤其有用。
- **时域方法:**结合多个帧的信息,通常配合变化的采样位置和运动估计。这类方法可以提高稳定性,但也可能引入重影或造成细节损失。
纹理映射会带来一种相关的采样问题:即使几何边界平滑,其内部的纹理细节也可能过于精细,超出输出分辨率所能表现的范围。纹理滤波和预滤波图像层级用于解决这一问题,其处理独立于图元覆盖判定。
硬件实现与性能
现代图形处理器除了可编程着色单元之外,还包含专用的光栅化硬件。其高吞吐量依赖于规则的几何测试、空间局部性和大规模并行计算。
光栅化器通常以小块为单位处理采样,从而可以通过几何边界测试接受或剔除整个块。许多 GPU 还会将渲染工作按屏幕空间中的分块进行组织,不过不同架构的分块组织方式和内存处理方式有所不同。
性能并非仅由三角形数量决定。重要的限制因素包括:
- **几何吞吐量:**对图元进行变换、装配和设置的速率。
- **采样吞吐量:**处理覆盖、深度和输出操作的速率。
- **着色开销:**对片元执行的计算量。
- **内存带宽:**读取纹理和访问渲染缓冲区的开销。
- **过度绘制:**重复处理覆盖相同屏幕位置的几何体。
极小的三角形可能效率低下,因为即使覆盖的采样点很少,设置开销仍然存在。另一方面,大型重叠图元可能产生大量片元处理工作。提前深度剔除和层次化深度测试可以减少部分不必要的处理。
与光线追踪的关系
光栅化与光线追踪组织可见性计算的方式不同。光栅化通常将图元投影到图像上,并确定其覆盖的采样点。光线追踪通常从与图像采样点关联的光线出发,求出这些光线与场景几何体的交点。
在许多实时应用中,光栅化对于确定初级可见性非常高效。不过,其基本覆盖操作本身并不计算阴影、反射、折射或间接光照。基于光栅化的渲染器会通过额外技术实现这些效果,例如阴影贴图、辅助场景渲染、预计算光照或屏幕空间近似。
光线追踪能够更直接地查询任意方向上的可见性,但需要执行求交计算,而且通常需要加速结构。这两种方法本身都不规定完整的光照模型,也都不保证生成照片级逼真的输出。
混合渲染器会将两者结合起来,例如用光栅化处理直接可见的表面,同时通过追踪光线计算选定的反射或阴影。
发展与应用
光栅化伴随着光栅显示器、数字绘图仪和图像输出设备的发展而发展。早期研究着重于在运算能力和内存资源有限的机器上,以较低开销完成直线绘制和多边形填充。随着交互式三维图形的普及,基于三角形的流水线和专用硬件变得越来越重要。后来的可编程着色器大幅提高了表面外观的灵活性,但并未取代光栅化在覆盖判定中的作用。
其主要应用包括:
- **交互式三维图形:**游戏、仿真、虚拟现实和模型查看器。
- **用户界面与矢量绘图:**将路径、图标和可缩放图形转换为显示像素。
- **文字渲染:**按选定的字号和分辨率,将字形轮廓转换为像素覆盖信息。
- **文档输出与印刷术:**将页面描述转换为设备分辨率下的光栅数据。
- **地图绘制与可视化:**将几何要素和科学模型转换为采样图像。
光栅化通常会产生与分辨率相关的结果。放大这一结果无法恢复其采样中缺失的几何细节,而以更高分辨率重新光栅化原始几何体,则可以保留更清晰的边界。
局限与特殊变体
有限的采样密度可能遗漏细薄的几何体和亚像素细节。数值精度也会影响边缘分类、裁剪和深度比较。几乎重合的表面可能产生深度冲突,即有限的深度精度导致可见性不稳定。
透明效果需要额外处理,因为普通的深度缓冲方法只保留通过测试的最近深度。传统的 alpha 混合通常依赖处理顺序;更高级的方法则会存储、近似或重新组织多个贡献。
保守光栅化改变了覆盖判据:在其高估形式中,只要图元与像素区域相交,就可以将该像素报告为被覆盖,而不再要求图元覆盖指定的采样位置。这对几何查询和体素化很有用,但其覆盖结果并不等同于常规显示光栅化的结果。
可微光栅化通过提供梯度或梯度近似,支持涉及渲染图像的优化。可见性变化和硬性的覆盖判定是不连续的,因此这类系统通常采用软化的覆盖模型或专门的梯度估计器。所以,其行为不仅取决于显示渲染所采用的标准光栅化规则。