光线追踪是一类计算方法,通过在场景的数学表示中追踪射线,确定相交关系、可见性以及光或其他信号的传播。在计算机图形学中,它通过追踪与图像采样点相关联的射线,并计算表面和体积如何发射、反射、透射或散射光来生成图像。在图形学之外,相关方法还用于光学设计、无线电传播、声学和地震建模。
光线追踪的核心优势在于,能够统一处理纯粹基于图像的技术难以再现的空间关系。射线可以找到当前相机视野之外的表面,检验光源是否被遮挡,或在连续的反射与折射中继续传播。这些能力使光线追踪特别适合表现逼真的阴影、镜面、透明材质和间接光照。不过,追踪射线本身并不能保证物理准确性:结果还取决于几何形状、材质模型、光传输算法和采样策略。
“光线追踪”一词有广义和狭义之分。广义上,它涵盖以射线与场景求交查询为基础的算法。狭义上,它有时指对直接光照、理想反射和折射进行递归渲染的方法,以区别于通过统计采样模拟更一般光传输过程的路径追踪。现代渲染系统往往将光线追踪与其他方法结合使用,而不是将其视为一套完整且排他的渲染流程。
历史发展
光线追踪源于几何光学,以及早期为确定计算机生成图像中哪些表面可见而开展的探索。在光学工程中,通过透镜和反射镜追踪光线的做法,远早于电子计算机的出现。计算机图形学问题带来了不同的侧重点:算法不再只是检验一个有限光学系统的行为,而是需要识别可见物体,并为可能多达数百万个图像采样点赋予颜色。阿瑟·阿佩尔(Arthur Appel)于1968年开展的明暗渲染研究是一项重要的早期贡献,其中使用了基于光线的测试来确定可见性和阴影。
特纳·惠特德(Turner Whitted)于1980年发表的论文《用于明暗显示的改进光照模型》,确立了影响深远的递归方法,如今称为惠特德式光线追踪。当一条视线光线击中表面后,便可发出更多光线,检测该点朝向光源的方向是否通畅,或沿理想反射和折射方向继续追踪。这样便能在统一框架内,将硬阴影、镜面和透明物体组合起来,产生令人信服的效果。这种方法通常没有考虑漫反射表面之间的相互反射,但它证明了递归追踪光线能够再现当时的扫描线渲染器难以处理的效果。
1984年,罗伯特·库克(Robert Cook)、托马斯·波特(Thomas Porter)和洛伦·卡彭特(Loren Carpenter)提出了分布式光线追踪,通过光线对不同的位置、方向、镜头位置和时刻进行采样。这里的“分布式”指的是采样分布于各个采样域中,并不一定意味着将计算分散到联网的计算机上。这一方法能够实现软阴影、光泽反射、景深和运动模糊。随后,詹姆斯·卡吉亚(James Kajiya)于1986年提出的渲染方程及路径追踪研究,为描述和估计表面光传输提供了通用框架。同一时期,戴维·伊梅尔(David Immel)、迈克尔·科恩(Michael Cohen)和唐纳德·格林伯格(Donald Greenberg)也独立提出了形式非常接近的渲染方程。
后续研究同时着眼于光传输和计算效率。双向路径追踪和光子映射使更多棘手的光照配置能够得到有效渲染。加速结构的改进、多核处理器以及可编程图形硬件降低了求交计算的成本。2018年,微软推出了 DirectX Raytracing,英伟达推出了配备专用光线追踪硬件的图灵架构图形处理器;Khronos 则于2020年正式确定了 Vulkan 光线追踪扩展。这些进展使光线查询成为交互式图形中更为普及的组成部分,不过,制作级渲染此前已经使用软件光线追踪数十年。因此,这一领域的历史演进并非一种算法取代另一种算法,而是光传输方法、采样技术和执行平台的不断积累。
几何基础与照相机射线
射线通常由原点 、方向 和参数区间表示:
方向不一定要归一化,但归一化后, 就对应于所用坐标系中的距离。参数区间至关重要:阴影查询可能只涉及表面与光源之间的线段,而照相机射线则可能延伸至实际上可视为无穷远的位置。最基本的操作是确定:在允许的参数区间内,是否有几何对象与这条射线相交;如果有,相交的是哪个对象。
在图像合成中,射线通常根据数学化的照相机模型生成。对于针孔照相机,像平面上的一个采样点确定了一条穿过唯一照相机中心的射线方向。正交照相机则从不同原点发出相互平行的射线。薄透镜模型在孔径上采样,并将射线瞄准焦面,使离焦物体形成模糊的图像。更精细的照相机模型可以追踪射线穿过多个透镜元件的路径,将透镜几何形状、孔径形状以及随波长变化的折射效应纳入考虑。
图像中的一个像素测量的是一个区域,而不是一条无限细的视线。因此,渲染器通常会在像素内部的不同位置追踪多条射线,并使用重建滤波器合并它们的贡献。额外的采样坐标可以表示镜头孔径上的位置、快门时间或波长。例如,可以为射线指定不同的时刻,并在相应时刻计算运动几何体的状态,以此估计运动模糊。滚动快门要求曝光时间区间随图像位置而变化,而不是整幅图像共用同一个曝光区间。
坐标变换使复杂场景更易于处理。对象可以在自身的局部坐标系中保存几何数据,再通过变换将其放置到场景中。进行相交测试时,先将射线变换到该局部坐标系,再将得到的命中数据变换回原坐标系。在非均匀缩放下,表面法线需要采用逆转置变换,而不能使用普通的方向变换。如果对变换后的射线重新归一化,也需要格外小心,因为这会改变射线的参数化方式。实例化利用的正是这种机制:场景中的多个对象可以共享同一个几何模型,同时使用不同的变换和材质配置,从而在不改变基本相交问题的前提下减少存储需求。
相交测试与可见性
大多数渲染系统使用三角形来表示可见表面,因为三角形是平面图元,表示紧凑,而且图形硬件能够高效处理。光线与三角形的相交关系可表示为
其中,、 和 是三角形的顶点。有效的交点必须满足 、、,且 的值必须在允许范围内。重心坐标 和 还可用于插值纹理坐标、顶点颜色和着色法线。不同算法在运算开销、数值特性以及处理三角形公共边时的一致性方面各有差异。
其他几何表示需要采用不同的测试方法。将光线方程代入球面方程,可得到一个二次方程;圆柱面及其他若干解析曲面也可采用类似方法求解。曲面可以直接与光线求交,也可以先细分为三角形。隐式曲面可能需要通过迭代求根来确定交点。球体追踪利用保守的距离估计沿光线前进,以避免一步跨过表面,但其安全性和收敛性取决于距离函数的性质。毛发和皮毛通常使用专门的曲线图元,而不是极其精细的三角网格。
不同的可见性问题需要不同的查询语义。最近交点查询返回符合条件的最近交点,用于确定相机光线所能看到的表面。遮挡查询只需判断某条线段内是否存在任何遮挡物,因此可以提前终止。按顺序处理透明效果、处理分层介质或进行某些专门的科学计算时,可能需要多交点查询。这些区别会影响性能:如果渲染器只需判断是否处于阴影中,通常就没有必要收集所有交点。
不透明度使“几何交点就一定对应可见表面”这一判断变得复杂。植物叶片通常用带纹理的多边形建模,并通过不透明度遮罩表示叶片及其间隙。光线击中这样的多边形后,可能还需要检查纹理;若采样位置透明,则继续传播。相比之下,折射玻璃通常代表真实的光学界面,需要计算光线透过界面后的方向。表面朝向同样重要:适用于不透明封闭网格的背面剔除,可能并不适用于薄片或从内部观察的情况。因此,稳健的实现会将几何求交与决定是否接受交点的材质及可见性规则分开处理。
表面散射与光传输
求交可以确定可能发生相互作用的位置,而材质模型则决定那里会发生什么。双向反射分布函数(BRDF)描述了出射方向上的反射辐亮度如何取决于入射方向上的照明。双向散射分布函数则将这一描述扩展到透射。基于物理的模型通常遵守能量守恒,并在相关假设成立时满足互易性。这些模型区分了理想镜面等理想化的狄拉克 δ 型相互作用,以及将光散射到一定方向范围内的分布。
对于相互作用点处不存在参与介质的表面,渲染方程可写为
其中, 为出射辐亮度, 为自发射辐亮度, 为入射辐亮度, 为 BRDF, 为表面法线。对于反射,积分范围是相应的半球。入射辐亮度本身又取决于其他表面和光源,因此这是一个相互关联的传输问题,而不是孤立的局部着色计算。
反射和折射是其中重要的特例。若入射方向 指向单位法线为 的表面,则理想反射方向为
折射遵循斯涅尔定律,
其中, 的各个取值为折射率。菲涅耳方程决定了界面处反射与透射的比例。它们解释了为什么普通玻璃在掠入射角下反射更强,以及为什么某些内部光线会发生全反射。粗糙度会使这些理想相互作用展宽为一种分布,建模时通常用无法逐一分辨的微观表面微面元来描述。
并非所有重要的散射都发生在无限薄的边界上。皮肤、蜡和大理石可以在表面之下传输光;雾和烟则会在整个体积内散射光。这类效应需要次表面传输模型或体积传输模型。标准几何光线追踪也无法再现所有光学现象。RGB 光传输只是对光谱行为的近似,而干涉和衍射通常需要用波动光学或专门模型来处理。偏振也需要普通三分量颜色之外的额外状态信息。因此,要生成物理上合理的图像,关键在于选择适合相应现象的传输模型,而不只是追踪更多光线。
递归渲染与光传输算法
Whitted 式渲染计算的光路种类有限,但很实用。相机射线用于找到表面,阴影射线用于检验直接光照,递归射线则沿理想反射或透射方向继续追踪。一面镜子映出另一面镜子时,自然会产生更深层的递归。通过设置深度上限或贡献阈值,可以避免计算无限进行。这种方法能够很好地处理清晰的反射与折射效果,但除非渲染器引入其他技术,否则普通漫反射表面之间不会交换间接光照。
路径追踪通过对一系列散射事件进行采样,估计更一般的光传输。每次交互时,算法从某个概率分布中选取一个方向,对路径贡献加权以补偿这一选择的影响,然后继续追踪。除了沿选定方向继续追踪的射线外,通常还会进行直接光照采样:渲染器显式选取发光体上的一个点,并检验该点是否可见。如果没有这一步,从漫反射表面出发的路径可能只有极小的概率碰到小光源。随后,多条采样路径共同给出某个图像采样点所对应辐亮度的估计值。
如何生成路径至关重要。重要性采样将样本集中在可能产生较大贡献的方向或区域,例如环境贴图中的明亮部分,或光滑材质的狭窄反射波瓣。多重重要性采样将多种策略结合起来,通常是光源采样与材质采样,同时抑制某种策略与被积函数不匹配时可能产生的过大权重。俄罗斯轮盘赌法以一定概率终止路径,并相应调整存活路径的贡献,从而避免简单丢弃所有足够长的路径所造成的系统性能量损失。相比之下,固定的最大路径长度会遗漏更长路径的贡献。
对于普通的基于相机的路径追踪,某些光路仍然难以处理。小光源发出的光穿过弯曲的玻璃物体后,可能在漫反射表面上形成集中的焦散;靠随机采样找到相应事件序列的概率可能很低。双向方法分别从相机和光源出发构建路径,再连接合适的顶点。光子映射追踪从光源发出的粒子,并根据其空间分布估计光照,以可控的估计偏差为代价,有效处理集中的光传输。梅特罗波利斯方法则通过对已有路径进行变异来探索路径空间。这些方法体现了光线追踪与光传输积分器之间的区别:前者是一种几何操作,后者则是一种算法,负责决定追踪哪些射线,以及如何组合追踪结果。
加速结构与计算成本
对于大型场景,让每条射线都与每个图元进行相交测试,计算成本将高得难以承受。若有 条射线和 个图元,直接实现的方法需要执行约 次相交测试。加速结构通过成本较低的空间测试,成组排除图元,从而减少计算量。其设计与数据结构、内存布局,以及构建和遍历的计算复杂性密切相关。没有任何一种结构能保证在所有可能的射线分布或场景下都具有较低的计算成本。
包围体层次结构(BVH)使用嵌套的包围体将图元分组包围起来,包围体通常是轴对齐包围盒。遍历时先测试父级包围体;如果射线未与其相交,就可以跳过其中的所有图元。如果射线进入该包围体,则继续检查其子节点,最终测试叶节点中的图元。在寻找最近交点的遍历过程中,每当找到更近的交点,就可以缩短射线的最大检测距离。因此,优先访问更有可能命中的节点,可以使后续节点直接被排除。BVH 能够支持多种几何体、实例化,并能以实用的成本更新变化中的场景,因此得到广泛应用。
构建质量会影响后续所需的测试次数。表面积启发式方法以子节点包围盒的表面积来近似射线进入这些子节点的概率,据此估算遍历成本。构建算法力求找到能够平衡遍历开销与图元测试成本的划分方式。速度更快的构建算法则可能使用莫顿码等空间编码对图元排序,或先快速构建初始层次结构,再进行优化。对于需要反复渲染的静态场景,高质量结构带来的收益足以抵消较高的构建成本;而交互式应用则可能需要在每一帧构建成本更低的结构。
空间细分提供了其他选择。均匀网格将空间划分为大小一致的单元格;k-d 树则利用平面递归划分空间。这些方法在适合的场景中可以表现良好,但几何体分布密度不均,以及图元跨越多个单元格或分区,都会带来困难。动态场景还引入了另一种权衡:对 BVH 进行重拟合,可以低成本地更新现有包围体,但大幅变形可能导致包围体过度重叠,降低遍历效率。重新构建可以恢复结构的合理性,但成本更高。性能还取决于缓存局部性、层次结构的宽度、压缩节点表示以及射线相干性。因此,相交测试成本呈对数增长的说法,充其量只是在有利情况下有助于理解的直观描述,而不是实际光线追踪工作负载的普遍界限。
采样、噪声与数值稳健性
图像形成涉及在多个域上进行积分:像素面积、镜头孔径、时间、波长、光源以及散射方向。蒙特卡洛积分利用样本来估计这类积分。若某个量表示为 ,则从概率密度 中抽取样本 ,可得
该概率密度必须覆盖对积分有贡献的区域。对于方差有限的独立样本,标准误差按 的比例下降。因此,在这些假设下,要将误差减半,通常需要约四倍的样本量。
有限采样会产生几种不同的伪影。规则间隔的样本可能使精细几何结构或纹理产生具有规律性图案的混叠,而随机化采样往往会用噪声取代这些连贯的图案。分层采样和低差异序列使样本分布更均匀,通常能改善实际的收敛表现。自适应采样会为估计噪声较大的像素或区域分配更多计算工作,不过,用少量样本估计误差本身也可能不可靠。罕见但贡献极高的路径可能产生孤立的亮像素,通常称为“萤火虫”;这类亮点不一定意味着求交程序存在错误。
降噪利用相邻像素、不同帧以及深度、法线、材质颜色等辅助缓冲区之间的关联,减少可见噪声。基于机器学习的方法能够根据少量路径样本推断出更干净的图像,但重建结果可能抹去细节、引入偏差,或留下时域拖影。时域累积在估计表面移动到何处后,复用先前帧的信息。当场景变化缓慢时,这种方法尤其有效,但新显露的表面、变化的反射以及动态光照,都可能使旧样本失效。因此,降噪后看起来干净的帧,并不等同于已经收敛的光传输估计。
浮点误差会引发另一类问题。从计算所得的表面点精确发出的次级光线,可能立即再次命中同一表面,因为求得的交点位置并不精确。固定偏移量可以掩盖这种自相交,却可能跳过附近的几何体,或在场景尺度改变时导致漏光。更稳健的方法会使用误差界,并精心选择偏移方向。一致的三角形边界判定可防止相邻面之间出现裂缝,而正确处理几何法线和着色法线,则可避免不合理的散射或自阴影。稳健性必须在变换、极端坐标范围和薄表面等情况下都得到保障;增加样本数量无法纠正系统性的几何误差。
并行硬件与实时渲染
光线追踪具有很高的并行计算潜力,因为许多光线或路径可以独立处理。然而,它并不天然就是图形处理器的理想工作负载。从相机发出的初级光线通常沿相近的方向传播,并访问相关的几何数据,但漫反射散射会迅速使路径转向不同的物体和材质。随后,各线程可能进入不同的分支、读取互不相关的数据,并在不同的时间完成执行。即使算术运算量看似不大,遍历栈、冗长的材质程序以及不规则的内存访问仍可能限制吞吐量。
渲染器以不同的方式组织这些工作。“巨型内核”(megakernel)可以在一个大型程序内让一条路径经历多个阶段,从而减少调度开销,但也会增加寄存器压力和执行分歧。波前式设计则将工作放入不同阶段的队列,例如求交、材质求值、光源采样和路径延续。对光线进行排序或分组可以提高一致性,不过队列管理本身也有成本。专用硬件通常会加速包围盒遍历和三角形求交;着色、场景管理、采样和降噪仍然需要大量可编程计算。
DirectX Raytracing 或 Vulkan 光线追踪扩展等应用程序编程接口向应用程序提供加速结构和光线查询操作。具体实现通常会区分容纳单个网格的结构与容纳经过变换的实例的高层结构。可编程阶段或内联查询使应用程序能够对相交结果作出响应,并在更广泛的图形或计算工作负载中执行可见性测试。这些操作的可用性并不限定渲染器的具体形式:同一套硬件既可以支持一次阴影测试或特定的反射效果,也可以支持多次反弹的路径追踪器。
交互式渲染受到严格的时间预算限制:每秒 60 帧意味着每帧约有 16.7 毫秒,而每秒 30 帧则意味着每帧约有 33.3 毫秒。因此,许多系统使用光栅化确定初级可见性,仅对阴影、环境光遮蔽、反射或间接光照等特定效果使用光线追踪。屏幕空间方法和预计算方法可以提供额外的近似结果。完整的实时路径追踪通常将较低的每帧采样数与时域复用、降噪及图像重建相结合。性能在很大程度上取决于图像分辨率、场景复杂度、材质计算成本、光线深度和硬件,因此,仅凭“采用光线追踪”这一描述,既无法判断其物理模拟是否完整,也无法判断其视觉结果是否准确。
射线模型的应用与局限
在电影和动画制作中,光线追踪能够为包含反射表面、毛发、透明物体和参与介质的复杂场景提供一致的光照效果。与交互式渲染器相比,离线制作可以在每一帧上花费长得多的时间,因此能够采用复杂的光传输算法和大量采样。即便如此,制作渲染也并非单纯的数值光学实验:艺术家会控制材质、光照、可见性和曝光,以获得期望的图像。基于物理原理的光传输引擎能让各种交互作用具有可预测性,但场景也可以有意偏离物理测量结果。
建筑和产品可视化利用光线追踪,评估指定光照和材质条件下的外观。然而,对于定量的天然采光分析或光学分析,仅有令人信服的外观还不够。几何形状、光源分布、材质测量数据、光谱灵敏度和校准都必须与实际物理问题相符。光学设计通过追踪射线在透镜系统中的传播,研究聚焦、像差和通光量;当衍射或干涉不可忽略时,还需加入波动光学计算。基于射线的模拟也可以为计算机视觉生成带标注的图像,不过合成数据与真实传感器观测之间可能存在差异,进而影响模型性能。
其他学科也采用相关的几何思想,但并不沿用图形学中对像素颜色的解释。高频无线电传播模型可以追踪穿行于建筑物或地形中的直达、反射、透射和衍射路径。当波长相对于相关结构足够小时,几何声学通过追踪声音的传播路径,估算到达情况和混响特性。地震射线追踪则研究传播速度随空间位置变化的介质中的传播路径。在性质平滑变化的介质中,这些路径可以是弯曲的,而不一定仅由直线段组成。每个领域都有各自的传播方程、边界条件,以及判断射线近似何时有效的标准。
射线模型在物理上的主要局限在于,它忽略了底层物理场的大部分波动结构。小障碍物周围的衍射、相干路径之间的干涉以及共振现象,通常无法通过只考虑强度的常规光线追踪还原出来。在计算上的主要局限,则是在复杂的路径空间中难以高效找到贡献显著的路径。大量反弹、高度集中的焦散、稠密的体积介质和精细的几何结构,都可能大幅增加计算成本。路径引导通过学习有用的方向采样分布来引导采样,可微分渲染则估计图像如何随场景参数变化。这些方法扩展了光线追踪的作用,同时也带来了额外的估计与数值计算挑战。