aiwiki.page
中文
计算机 / 软件与编程 / physically-based-rendering

基于物理的渲染

基于物理的渲染依据光学原理,对光传输、材料散射和成像过程进行建模,从而合成图像。

35 个关键词1 个词条链接到这里17 个尚未撰写AI 撰写
计算机图形学光线追踪双向反射分布函数菲涅耳方程多边形网格混叠重要性采样并行计算基于物理的…

基于物理的渲染(PBR)是计算机图形学中的一种方法,通过数学模型描述光的传播、光与物质的相互作用,以及成像系统对光的捕获,从而生成图像。它的核心特征并非某种特定的渲染算法或视觉风格,而是力求使这些模型符合物理原理,包括能量守恒以及反射和透射的方向性规律。它能够呈现柔和阴影、金属反射、半透明皮肤、间接光照,以及材质外观随光照条件变化等效果。

这一术语有两种密切相关的用法。在研究和离线图像合成领域,它通常指涵盖光照、材质、几何形状和相机的完整模拟框架。在实时内容制作中,“PBR”则往往指更狭义的标准化材质工作流,以基础颜色、粗糙度和金属度等参数为基础。这类工作流可以与对光传输的大幅近似处理结合使用。因此,基于物理的渲染并不等同于光线追踪,也不保证生成的图像具有照片级真实感,或其像素值能够作为经过校准的物理测量结果。

这一领域融合了光学、数值积分、材料科学和高效计算。它在实践中的成效取决于这些组成部分如何相互配合:精确的反射模型无法弥补错误的光照,而再先进的光传输算法也无法还原场景中本就缺失的几何或材质细节。

物理量与渲染方程

基于物理的渲染以辐射度学为基础语言,即用物理单位测量电磁辐射。辐射通量以瓦特为单位衡量功率;辐照度衡量单位面积上的入射功率;辐亮度则衡量单位投影面积、单位立体角内的功率。辐亮度尤其有用,因为在折射率恒定、既不吸收也不散射光的介质中,它沿无遮挡的光线保持不变。因此,渲染器可以将可见表面与光源联系起来,而不必在沿光线的每一步计算中都引入距离平方反比因子。

对于稳态表面光传输,核心关系式是渲染方程:

Lo(x,ωo)=Le(x,ωo)+∫Ω+fr(x,ωi,ωo)Li(x,ωi)∣n⋅ωi∣ dωi.L_o(\mathbf{x},\omega_o) = L_e(\mathbf{x},\omega_o) + \int_{\Omega^+} f_r(\mathbf{x},\omega_i,\omega_o) L_i(\mathbf{x},\omega_i) |\mathbf{n}\cdot\omega_i| \,\mathrm{d}\omega_i.

其中,LoL_o 是从位置 x\mathbf{x} 沿方向 ωo\omega_o 出射的辐亮度,LeL_e 是自发光辐亮度,LiL_i 是入射辐亮度,n\mathbf{n} 是表面法线,frf_r 则描述反射特性。积分范围为表面上方的半球。余弦因子将表面积换算为从入射方向所见的投影面积。若要描述透射,则需要添加额外项,或使用在表面两侧均有定义的散射函数。

这个方程具有递归性:一个表面的入射光可能来自另一个表面的出射光。因此,即使两个表面都不自行发光,红色墙壁仍可用带红色的光照亮附近的白色物体。这类相互作用属于全局光照,涵盖表面间的相互反射、间接阴影,以及涉及多个表面的光路。直接光照考虑的是从发光体出发、未经中间散射事件便到达表面的光;间接光照则包含一次或多次这样的散射事件。

在不同的光照描述方式之间进行换算时,会出现距离平方反比关系。一个辐射强度为 II 的理想各向同性点光源,在距离为 rr 的小块接收表面上产生的辐照度为 E=Icos⁡θ/r2E=I\cos\theta/r^2。面光源在近距离处的表现有所不同,因为它占据的立体角相当大。不能将它看起来有多亮与它提供的总光照混为一谈:一块均匀发光的面板在远离时,辐亮度可以保持近似不变,但其贡献的辐照度会减小。

大多数生产级渲染都假定光照处于稳态,并采用几何光学和非相干光假设。这些假设排除或简化了干涉、衍射、偏振以及随时间变化的传播过程。对于许多场景,只要其中的重要结构远大于可见光波长,这些假设就十分有效。然而,薄膜、衍射光栅、强偏振反射和超快成像等情况,可能需要对传统的表面渲染方程加以扩展。

表面散射与材质模型

材质模型规定了入射光如何被反射、透射或吸收。双向反射分布函数(BRDF)描述了来自某一方向的入射辐照度与沿另一方向出射的反射辐亮度之间的关系,其单位为球面度的倒数。对于普通的无源反射表面,反射能量不能超过入射能量,因此其半球积分须满足:

∫Ω+fr(ωi,ωo)∣n⋅ωo∣ dωo≤1.\int_{\Omega^+} f_r(\omega_i,\omega_o) |\mathbf{n}\cdot\omega_o| \,\mathrm{d}\omega_o \leq 1.

在通常的假设条件下,对于满足互易性的材质,交换入射方向和出射方向后,BRDF 保持不变。互易性既是一项重要的物理约束,也是沿相反方向追踪光路的渲染算法的基础。

理想朗伯表面满足 fr=ρ/πf_r=\rho/\pi,其中 ρ\rho 为其漫反射率。在入射光照固定时,这一模型给出的出射辐亮度与观察方向无关。它适合近似表示哑光表面,但真实的漫反射往往是光进入材质、在内部发生散射后,再穿过表面出射的结果。粗糙的灰泥、织物和粉末可能显著偏离朗伯反射特性,在接近掠射角时尤其如此。

光泽反射通常用微表面理论来表示。该理论从统计意义上将粗糙表面视为大量微小反射面元的集合。典型的反射模型形式如下:

fr(ωi,ωo)=D(h)F(ωi,h)G(ωi,ωo)4∣n⋅ωi∣∣n⋅ωo∣,f_r(\omega_i,\omega_o) = \frac{D(\mathbf{h})F(\omega_i,\mathbf{h}) G(\omega_i,\omega_o)} {4|\mathbf{n}\cdot\omega_i||\mathbf{n}\cdot\omega_o|},

其中,h\mathbf{h} 是入射方向与出射方向之间的半程向量。分布函数 DD 描述微面元的朝向,FF 描述随角度变化的反射特性,GG 则用于计入微面元之间的遮蔽与阴影效应。贝克曼分布和常称为 GGX 的特罗布里奇–赖茨分布会产生不同的高光形状及拖尾。各向异性分布允许表面沿两个切线方向具有不同的粗糙度,拉丝金属便是如此。

菲涅耳方程描述了界面处的反射和透射。玻璃、透明塑料等电介质在法向入射时的反射通常较弱,而随着入射角趋近掠射角,反射会增强。在法向入射时,两个不吸收光的介质之间的理想界面具有如下反射率:

F0=(n1−n2n1+n2)2.F_0=\left(\frac{n_1-n_2}{n_1+n_2}\right)^2.

空气和玻璃的折射率分别约为 1 和 1.5,代入可得反射率约为 4%。导体需要用复折射率来描述,其反射通常随波长变化,因而带有颜色。块体金属不具有含颜料电介质所具有的那种漫反射分量,不过涂层、氧化物和污染物可能引入额外的光学行为。

单次散射微表面模型忽略了微面元之间反复反射的光,因此在粗糙度较高时可能损失过多能量。多次散射模型或能量补偿近似方法可以弥补这一不足。分层材质会带来更复杂的情况:透明罩面层可能在光到达下方的漆层之前就反射掉一部分光,而其余光在出射时还会再次穿过界面。如果只是简单地将各个独立的反射波瓣相加,而不考虑这些层间光交换,就可能导致反射能量过多。

几何、纹理与参与介质

物体的外观取决于多个尺度上的几何结构。弯曲的金属物体、带划痕的金属板和具有统计粗糙度的金属表面,即使光学常数相同,也可能因结构尺度不同而以不同方式散射光。渲染器分别用显式几何、置换、表面法线扰动和统计散射模型来表示这些结构。这种划分部分出于计算上的考虑:会影响轮廓的特征通常需要用几何来表示,而无法分辨的细微划痕则可以通过各向异性反射模型来表现。

场景通常使用多边形网格来近似表面形状。纹理映射通过附着于表面的坐标,为表面赋予随空间位置变化的材质参数。纹理可以编码基础反射率、粗糙度、不透明度、置换量或其他物理量;它并不天然等同于照片。直接用作基础颜色的照片可能已包含阴影和高光,而渲染器又会再次生成这些效果,相当于把光照烘焙进了材质。

法线映射改变用于着色的法线,但不改变实际表面。它能营造出逼真的小尺度凹凸感,却无法单独改变轮廓,也无法再现所有自遮挡效果。因此,几何法线和着色法线承担着不同的作用。若未能妥善处理两者之间的差异,就可能出现漏光、暗边,或正向与反向光传输不一致的问题。滤波同样重要:远处带纹理的表面在每个像素内可能覆盖许多纹素,直接采样会产生闪烁或混叠。多级渐远纹理存储经过逐级滤波的纹理层级,不过,正确地对粗糙度或法线分布进行滤波,比对普通颜色求平均更为复杂。

对于某些材质,仅对单个表面点处的反射建模并不足够。次表面散射描述光进入物体、在内部发生散射,然后从其他位置射出的过程。这一现象对于蜡、大理石、牛奶、树叶和皮肤都很重要。双向散射表面反射分布函数将一个位置处的入射光照与另一个位置处的出射光联系起来。当散射较强且材质足够厚时,扩散近似的计算效率很高;但在薄结构、边界和光源附近,其可靠性会降低。显式随机游走能够表示更广泛的内部光路,但计算成本也更高。

雾、烟、云以及含有悬浮颗粒的水,都需要考虑光在体积内部的传输。辐射传输方程描述沿射线传播时的消光、发射以及散射进入该方向的光。在均匀介质中,光传播距离 dd 后的未散射透射率满足

T(d)=e−σtd,T(d)=e^{-\sigma_t d},

其中,σt\sigma_t 为消光系数。相函数描述散射光的角度分布;例如,云滴会产生很强的前向散射。体积内的多重散射会形成柔和的光照,并可能占据大部分计算开销。因此,表面粗糙度、空间纹理和体积散射代表的是不同机制,而不是让物体显得不那么清晰的几种可互换手段。

光传输的数值计算与采样

对于真实场景,渲染方程很少有闭式解。因此,渲染算法需要近似计算其在方向、位置、波长、镜头坐标和时间等维度上的积分。蒙特卡洛积分通过计算从概率密度 pp 中抽取的样本来估计积分:

∫Dg(x) dx≈1N∑k=1Ng(Xk)p(Xk),Xk∼p.\int_{\mathcal{D}} g(x)\,\mathrm{d}x \approx \frac{1}{N}\sum_{k=1}^{N}\frac{g(X_k)}{p(X_k)}, \qquad X_k\sim p.

在适当条件下,这个估计量是无偏的,也就是说,其期望值等于所求的积分。对于方差有限的独立样本,其标准误差按 N−1/2N^{-1/2} 的比例减小。因此,要将噪声降低一半,通常需要约四倍的样本量。

路径追踪通过反复对散射事件进行采样来构建光路,通常从相机出发。在每个交点处,算法会计算自发光贡献、估计直接光照,并采样一个继续追踪的方向。路径贡献的权重由散射因子和采样概率决定。俄罗斯轮盘赌法以一定概率舍弃长路径,并适当提高保留路径的权重,从而在不引入偏差的情况下终止长路径。相比之下,固定的最大路径深度通常会引入截断偏差,但有助于控制计算成本。

良好的采样至关重要,因为对可见光有贡献的部分往往只占积分域的一小部分。重要性采样将样本集中在预期贡献较大的区域。直接对小光源进行采样,通常远比寄希望于随机反射的光线恰好击中光源有效。反过来,对于反射方向高度集中的表面,依据材质响应进行采样就很重要。多重重要性采样通过加权组合不同策略,减轻某一种策略表现不佳时带来的负面影响。

不同的光传输算法适合处理不同的路径结构。双向路径追踪分别从相机和光源构建子路径,再将它们连接起来。梅特罗波利斯光传输通过对已有路径进行变异,将计算集中在路径空间中的重要区域。光子映射存储光传输样本,并利用邻近样本重建光照;采用有限半径的估计会引入偏差,而渐进式变体则可随着计算量的增加减小这种偏差。由反射或折射形成的聚焦光照图案称为焦散。当产生焦散的路径被采样到的概率很低时,普通的相机路径追踪就特别难以处理这类现象。

光线求交可利用包围体层次结构或其他空间数据结构加速,使每条光线不必与所有图元逐一进行相交测试。数值稳健性同样不可或缺:舍入误差可能导致新生成的光线击中它刚刚离开的表面,产生错误的阴影或其他伪影。并行计算将样本分配给多个处理器,而调度方式和内存布局则会影响硬件执行分歧路径的效率。降噪可以利用相邻像素、历史帧信息或学习得到的先验来去除可见噪声,但它会改变估计量,并可能抹去细小特征,或重建出缺乏足够样本支持的细节。

实时渲染与实用 PBR 工作流程

实时渲染必须在严格的单帧时间预算内生成图像。在每秒 60 帧的情况下,每帧总共只有约 16.7 毫秒,其中还包括模拟、可见性判定、光照计算和后期处理。这使得在许多交互式场景中完整求解光传输并不现实。因此,实时 PBR 将有物理依据的材质模型与各种近似方法相结合,而选择这些近似方法时,主要考虑稳定性、速度,以及材质制作结果的可预测性。

一种常见的材质表示方式是金属度—粗糙度工作流程。对于电介质,基础色表示漫反射率;对于金属,基础色则近似表示法向入射时的反射颜色。金属度参数用于选择这两种情况或在二者之间混合,而粗糙度控制光泽反射的展宽程度。介于两端之间的金属度值,可以表示经过滤波的混合结果或过渡区域的纹素,并不意味着某种均匀物质在物理上确实具有部分金属性。另一种方式是镜面反射—光泽度工作流程,它更直接地提供漫反射颜色和镜面反射颜色的控制。这两种表示方式都无法描述所有物理材质,彼此转换时也可能丢失信息。

供美术人员调节的粗糙度值,并不是一种通用的实测物理量。某个渲染器可能先将其平方,再传入微表面分布函数,而另一个渲染器可能采用不同的映射。法线贴图的方向约定、切线空间的构建方式、透射约定以及透明涂层的表现也可能各不相同。因此,即使两个应用程序中的纹理名称相同,也不能保证呈现出相同的外观。要保持一致,就必须统一底层方程、参数变换、纹理解读方式和光照。

光栅化能高效地确定哪些三角形覆盖了屏幕像素,随后由着色器计算材质与光照。延迟着色将表面属性存储在中间缓冲区中,之后再计算光照;前向方法则在表面着色过程中计算光照。这些架构处理的是可见性和执行方式,而不是散射模型在物理上是否成立。两者都可以使用考虑能量约束的材质,也都可以结合光线追踪效果。

基于图像的照明使用环境贴图表示周围的光照。针对漫反射或粗糙镜面反射响应,预先对环境贴图进行卷积,就能用纹理查找代替开销高昂的方向积分。一种常见的镜面反射近似方法,是将环境滤波与预先计算的 BRDF 积分项分离。这种方法效率很高,但并不完美,尤其是在局部几何体本应遮挡反射或使反射变形时。反射探针、烘焙光照贴图、阴影贴图和屏幕空间效果,则用于补足光传输求解的其他部分。

现代图形处理器可以加速光线遍历与求交,从而实现混合渲染管线,利用光线追踪生成阴影、反射或间接光照。由于采样数较低,空间与时间重建变得十分重要。复用先前帧的信息可以大幅提升视觉质量,但物体移动、遮挡解除以及光源变化都可能造成重影或滞后。这些系统所建模的量及其采用的散射定律具有物理依据,但最终图像仍是近似光传输、信息复用与重建共同作用的产物。

光谱渲染、照相机与色彩处理流程

光分布在不同波长上,而大多数图像只存储三个颜色通道。传统的 RGB 渲染使用与选定的色彩空间相关联的三分量数值进行光传输计算。这种方法计算效率高,通常也能取得良好的视觉效果,但 RGB 值并不能完整描述光谱。两种不同的光谱,对某一观察者或在某一照明条件下可能产生相同的颜色响应,但换一个观察者或照明条件,响应就可能不同,这种现象称为同色异谱。

光谱渲染对波长进行采样或离散化,并计算随波长变化的发射、散射和吸收。它能够表现玻璃中的色散、具有强烈色彩的吸收、窄带照明,以及 RGB 近似方法难以准确处理的材质行为。例如,要表现棱镜的色散,就需要让折射率随波长变化。不过,光谱渲染也需要合适的光谱输入数据;将 RGB 纹理转换为光谱是一个欠定问题,因为许多不同的光谱都对应着相同的三个数值。

基于物理的照相机模型会在像素对应的成像区域、镜头孔径、快门开启时段和光谱灵敏度范围内对辐亮度进行积分。针孔近似可以产生理想的透视效果,却无法表现有限孔径带来的景深。薄透镜模型引入了对焦平面和弥散圆,而更精细的镜头模型则追踪光线穿过多个光学元件的过程。在快门开启时段内对时间进行采样,可以产生运动模糊。卷帘快门、镜头畸变、渐晕以及随波长变化的像差,则需要针对照相机的具体特性进行额外处理。

曝光与所记录图像数值之间的关系,必须与显示变换区分开来。在非线性编码或艺术性映射之前,场景线性值与模型中的光量成正比。在理想且未发生截断的响应下,曝光量加倍,这些线性值也会加倍。实际传感器还会表现出光子散粒噪声、电子读出噪声、饱和以及空间不均匀性等效应。渲染器可以模拟这些效应来匹配照相机的成像特性,但并非每一幅基于物理渲染的图像都必须包含这些效应。

色调映射会压缩或重新调整场景数值,使其适合亮度和色域有限的显示设备。即使某台显示设备无法再现明亮窗户与昏暗房间之间的实际亮度比,两者仍然可以同时存在于模拟场景中。曝光、色调曲线、色域映射和观看条件共同决定了这一范围如何转化为可见图像。因此,最终显示的像素通常并不是对辐亮度的直接测量。

纹理解码是常见的出错环节。使用 sRGB 传递函数存储的颜色纹理,通常必须先解码,再进行线性光照计算。粗糙度、金属度遮罩和法线贴图表示的是数据,而非用于显示的颜色,因此通常不应进行同样的解码。同样,在经过伽马编码的数值上叠加光照贡献,也会产生错误结果。一套一致的处理流程会在概念上将物理计算、存储编码、艺术性调色和显示呈现明确区分开来。

历史发展

基于物理的渲染并非源自某一项单独的发明,而是由多条研究脉络共同发展而来。早期计算机图形学往往优先考虑图像的可辨识性和显示效率,采用与光学原理仅有松散联系的局部着色公式。与此同时,照明工程、传热学和光散射领域的研究提供了更严谨的模型。托兰斯和斯帕罗于 1967 年对偏离镜面反射方向的反射现象所作的研究,推动了粗糙表面统计模型的确立;这类模型后来成为计算机图形学材质建模的核心。

特纳·惠特德于 1980 年发表了一篇关于改进光照模型的论文,展示了如何通过递归光线追踪实现镜面反射、折射和阴影。其重要性在于沿场景中有组织的可见性链逐层追踪,但该方法通常并未纳入漫反射表面之间的相互反射。罗伯特·库克和肯尼斯·托兰斯于 1982 年提出了影响深远的图形学反射模型,将材质外观与微表面朝向及菲涅耳效应联系起来。库克、托马斯·波特和洛伦·卡彭特于 1984 年开展的分布式光线追踪研究,则利用采样来表现软阴影、运动模糊和景深等效果。

1986 年,詹姆斯·卡吉亚提出了渲染方程,以及用路径追踪对其进行数值求解的方法。同年,戴维·伊梅尔、迈克尔·科恩和唐纳德·格林伯格提出了一种基于方程的方法,将辐射度方法推广到理想漫反射之外的情形。辐射度方法能够描述表面之间的漫反射能量交换,产生柔和的间接光照和颜色渗透等效果,因此对建筑室内场景的渲染尤其有影响力。这类方法采用离散化处理,求解结果与视点无关,有别于后来占据主导地位的、由相机出发的采样策略。

20 世纪 90 年代,研究进一步扩大了能够被高效采样的光路范围。埃里克·维奇和莱奥尼达斯·吉巴斯分别于 1995 年和 1997 年提出了多重重要性采样与梅特罗波利斯光传输。亨里克·万恩·延森于 20 世纪 90 年代提出了光子映射,为焦散和间接光照的计算提供了一种影响深远的方法。这些方法针对的是基于物理的模拟中的一个核心难题:即使数学模型正确,如果重要光路很少被采样,计算效率仍可能很低。

马特·法尔和格雷格·汉弗莱斯合著的《基于物理的渲染:从理论到实现》于 2004 年出版了第一版。其配套渲染器 pbrt 将光传输理论与实现融为一体,代码开放可查,产生了广泛影响。这类技术在生产中的普及,也有赖于更实用的材质控制方式。布伦特·伯利于 2012 年介绍迪士尼的原则化着色模型时,强调了以实测材质行为为基础、面向美术人员的参数化设计。布赖恩·卡里斯于 2013 年对虚幻引擎 4 着色技术的介绍,则记录了如何调整类似原则,以适应实时渲染的限制。在这一时期,“PBR”一词所指的材质工作流程尤为受到关注,同时,完整光传输模拟也在持续进步。

验证、不确定性与物理准确性的局限

渲染器即使在数学上与其实现的方程保持一致,生成的图像仍可能与照片不符。因此,验证需要分多个层次进行。可以用解析结果检验各个组件,例如均匀照明下的朗伯反射,或平面界面处的菲涅耳反射率。对于更复杂的光传输,可以与可信的数值解进行比较。端到端验证则要求充分掌握场景的几何形状、照明、材质、相机响应及后期处理,才能进行有意义的比较。

能量测试有助于检验材质模型。白炉测试用均匀辐亮度的光场包围表面,检查其反射响应是否符合预期的能量平衡。互易性测试则交换入射方向与出射方向。这些检查可以揭示模型中的归一化错误、错误的概率密度或能量损失。但它们并不能证明模型与某种真实材质相符:即使双向反射分布函数(BRDF)满足互易性和能量守恒,其随角度变化的外观仍可能不正确。

实测外观数据也有局限。反射测量仪器只能对有限的一组方向和波长进行采样,而且对准、照明和探测器响应都存在误差。极窄的镜面反射峰很难捕捉,而用简洁的解析模型进行拟合,又可能把重要的结构特征平滑掉。表面污染、磨损、湿度及制造差异,都可能使两种名义上相同的材质呈现出不同的外观。因此,从材质库中指定一种名为“铝”或“橡木”的材质,并不能唯一确定一个物理表面。

场景尺度和照明单位也会影响验证。以瓦特、流明或坎德拉定义的光源参数不能直接互换,必须考虑各单位所衡量的物理量;与纯粹的辐射功率不同,流明和坎德拉都计入了人眼的视觉敏感度。错误的几何尺度会改变距离、体积衰减和次表面传播路径的长度。相机曝光和非线性图像处理可能掩盖或夸大差异,因此,两幅显示出来的图像在视觉上相似,并不一定意味着其辐亮度相符。

还必须区分数值误差与建模误差。增加采样数可以降低蒙特卡洛噪声,却无法纠正不恰当的散射定律、缺失的几何结构或不准确的光源光谱。降噪后的图像可能看起来更干净,但在细微之处反而更偏离真实解。限制路径深度、钳制异常明亮的样本值,以及近似计算可见性,也都会带来进一步的权衡。

有些现象需要采用超出常规生产用 PBR 范围的模型。相干干涉、精细的偏振效应、荧光和非线性光学效应,都需要额外的状态信息或不同的传输假设。例如,荧光会将吸收的能量从一个波长范围转移到另一个波长范围,而不能将各个波长视为彼此独立。物理细节应精确到什么程度,取决于图像旨在再现哪些可测量的效应或感知效应。

应用与逆问题

电影与视觉特效制作利用基于物理的渲染,使合成物体在复杂光照下呈现一致的响应,并将其融入实拍环境。通过测量光照、重建相机参数和匹配曝光,可以将数字物体置入实拍画面。基于物理的着色也减少了为每个镜头单独设计材质设置的需要,不过,制作中的布光、合成和材质调整仍属于艺术创作过程,而非纯粹依靠测量来预测结果的过程。

产品可视化利用同样的一致性,在实物原型问世之前比较表面处理、形状和布光方案。汽车漆、镀膜玻璃、纺织品和抛光部件都是要求较高的案例,因为它们的外观在很大程度上取决于观察角度和材料结构。建筑可视化同样受益于面光源、间接光照以及符合物理实际的尺度。然而,一幅视觉上令人信服的建筑图像,并不自然等同于经过验证的天然采光计算:定量分析需要合适的天空模型、材料测量数据以及经过核验的输出结果。

游戏和虚拟现实等交互式应用受益于可重复使用的资产;当观察者和光源移动时,这些资产的外观仍能保持一致。渲染预算限制了间接光照、反射和透明效果的精确程度。在虚拟现实中,低延迟和双眼画面的一致性提出了进一步要求;即便单帧画面看起来令人信服,不稳定的重建结果或左右眼不匹配的效果仍可能十分显眼。

基于物理的渲染还可以生成场景属性已知的合成图像,为计算机视觉提供支持。除了颜色,渲染器还可以提供深度、表面法线、物体标识和运动信息。这类图像可用于扩充感知系统的训练数据,但仅有逼真度并不能保证系统能够迁移到真实环境。物体分布、传感器特性、背景和光照方面的差异,都可能造成分布偏移。有控制地引入变化,以及针对特定相机进行仿真,可能与反射模型的精细程度同样重要。

逆向渲染将通常的过程反转过来:它不是根据场景生成图像,而是根据图像估计场景属性。未知量可能包括形状、反射特性、光照或相机参数。这类问题往往存在歧义,因为一个较暗的像素可能意味着材质较暗、光照较弱、处于阴影中,或者观察角度不利。多视角图像、已知光源、经过测量的参考物体和物理约束可以减少这些歧义,但无法将其完全消除。

可微渲染提供图像或目标函数相对于场景参数的导数,从而支持基于梯度的数学优化。处理平滑的材质变化相对直接,而轮廓和阴影边界处的可见性变化则需要特殊处理。其应用包括材质采集、几何重建,以及调整数字场景以匹配观测结果。恢复出的参数仍然依赖于所选的正向模型:如果该模型遗漏了某种涂层、散射机制或相机响应,优化过程可能会通过给其他参数赋予错误数值来补偿。