神经辐射场通常缩写为 NeRF,是一种通过学习得到的三维场景表示,将空间位置与体密度及随方向变化的颜色关联起来。生成图像时,沿相机射线对这一表示进行采样,再通过体绘制将采样结果合成。给定某个场景的照片及其相机参数后,可以通过优化 NeRF 来重现这些照片,并合成训练时未使用过的相机位置所对应的视图。
NeRF 于 2020 年以这一名称提出,随后成为计算机视觉、计算机图形学与深度学习交叉领域中具有影响力的方法。其重要性在于将连续的场景表示与可微分的成像模型连接起来:在渲染图像上测得的误差可以直接用于更新场景表示。最初的方法使用一个相对较小的神经网络,针对每个场景分别进行拟合;后续系统则引入了更快的空间编码、显式特征网格、多尺度渲染,以及适用于动态场景的模型。因此,“NeRF”既指一种奠基性的具体方法,也泛指一类更广泛的辐射场重建技术。
起源与发展
NeRF 源于计算机图形学中一个由来已久的问题:如何从未曾拍摄过照片的视角,生成真实场景的逼真图像。传统方法先重建几何结构,再将照片作为纹理贴附其上,最后渲染所得模型。另一类方法是基于图像的渲染,它更直接地利用采集到的图像合成新视角。例如,光场方法通过表示穿过某个空间区域的光线来描述场景外观。这些方法能够再现复杂的外观,但存储需求以及对密集相机采样的依赖,限制了它们的实际应用。
神经场景表示提供了一种不同的权衡方式。网络不必显式存储每个表面元素或每条采样光线,而是可以将随空间位置变化的信息编码在自身参数中。神经隐式曲面的相关研究表明,连续函数能够描述物体,而无须预先固定体素网格的分辨率或网格的连接关系。神经渲染方法也展示了学习得到的组件如何参与图像形成过程。NeRF 将基于坐标的连续表示、随视角变化的外观,以及成熟的体渲染方程结合起来,构成了一套有效的照片场景重建系统。
Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi 和 Ren Ng 合著的论文《NeRF:将场景表示为用于视图合成的神经辐射场》(NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis)发表于 2020 年欧洲计算机视觉会议。该论文展示了对合成物体和真实场景的精细重建,其中包括许多早期方法难以处理的细微结构和光泽外观。它的首要目标是合成新视角图像,而不是为所拍摄的环境生成显式且在物理上完备的模型。
原始系统也暴露出自身的局限。它通常需要对每个场景进行耗时的优化,而且每渲染一幅图像都要进行大量网络求值。系统假定相机位姿已知,场景通常是静态的;在观测不充分的区域之外,预测质量也会下降。这些局限推动了后续研究:PlenOctrees 等显式表示加快了渲染速度;Instant Neural Graphics Primitives 引入了多分辨率哈希编码;mip-NeRF 解决了与尺度相关的采样问题;Nerfies 和 D-NeRF 等方法则将辐射场扩展到包含运动和形变的场景。
此后,这一术语的含义逐渐扩展,不再局限于最初的架构。一些后来的“NeRF”系统仍使用大型坐标网络,另一些则将大部分场景信息存储在体素特征、平面或其他空间结构中,仅使用一个小型解码器。这些系统共同的核心原则通常是:学习一个辐射场或外观场,并沿光线累积场中的信息来完成渲染,而不是要求每个场景都完全由单个网络的权重来表示。
数学表示与网络结构
基本的 NeRF 用如下函数表示场景:
其中, 表示位置, 表示观察方向, 表示体密度, 表示三通道颜色。方向具有两个独立的角度自由度,因此,原始形式通常被描述为从五维输入到颜色和密度的映射。在实际实现中,方向通常以归一化的三分量向量输入,而不是用两个角度表示。参数向量 包含通过学习得到、用于定义该场的各项参数。
在原始架构中,多层感知机首先处理位置,输出密度和一个中间特征向量。另一个独立分支将该特征向量与观察方向结合起来,用于预测颜色。处理位置的主网络采用八个宽度为 256 的全连接层,并通过一个跳跃连接重新引入位置编码。这种分离设计很重要:密度被限定为仅取决于位置,而外观则可以随方向变化。因此,光泽表面的高光可以随着相机移动而发生位移,而不必改变所建模物体本身的形状。
当目标包含精细的空间变化时,仅以原始坐标作为输入,传统网络很难有效处理。因此,原始方法使用了固定的正弦位置编码。对于标量坐标 ,其编码可写为:
将这种编码应用于空间坐标和观察方向,可以让网络获得多个频率的信息。原始配置对位置使用十个频带,对方向使用四个频带。这并不能保证恢复任意细节,但与未经编码的坐标相比,它显著降低了表示高频变化的难度。
这里的密度通常不是材料的质量密度,而是一种类似消光系数的量,用于控制光线在场中传播时变得不透明的速度。它的单位是场景距离单位的倒数:如果对场景进行缩放,就必须相应调整密度,才能使渲染得到的不透明度保持不变。同样,输出的颜色通常表示照片中既有光照条件下的综合外观,而不是对材料固有反射率的直接测量。
作为数学模型,辐射场是连续的,但其实际分辨率仍然有限。网络容量、编码带宽、训练图像分辨率、相机视角覆盖范围和光线采样,都会限制可恢复的细节。连续性允许在已存储或已观测的位置之间进行查询,但并不意味着这些查询结果是准确的。尤其是,连续表示也可能对错误的几何结构进行平滑插值,或在图像提供的依据很少的区域生成看似合理的颜色。
体渲染与可微图像形成
相机中的一个像素确定一条射线:
其中, 为相机中心, 为射线方向。NeRF 对近端边界 与远端边界 之间各处的贡献进行积分,以预测像素颜色:
其中透射率为
透射率表示射线到达某个采样点之前仍未被遮挡的比例。靠近相机处的高密度会削弱更远位置的贡献。如果包含背景颜色,其贡献则需乘以远端边界处剩余的透射率。
计算时,使用离散采样来近似这一积分。对于采样点 ,令 为该采样点所代表的区间长度,并定义
于是,预测颜色近似为
这是由发射—吸收模型推导出的从前向后的 Alpha 合成方法。它无需显式求取射线与表面的交点即可处理遮挡,但能否准确表示清晰的边界,仍取决于密度的集中程度和采样分辨率。
渲染计算对于密度和颜色都是可微的。通过反向传播,像素上的误差可以改变网络在该像素射线沿途采样位置处的输出值。不同相机视角会对场中相互重叠的区域施加约束,使得仅凭图像层面的监督也能恢复出一致的空间表示。可微性还支持进一步扩展,在优化场景外观的同时优化相机参数或形变场。
原始 NeRF 使用两个网络来改进采样分配。粗网络对每条射线上的分层采样点进行求值;所得的合成权重定义一个分布,再从该分布中抽取额外的采样点。随后,细网络使用合并后的采样位置进行渲染。论文公布的配置为每条射线使用 64 个粗采样点,并额外添加 128 个细采样点。这一分层过程将更多的求值次数分配到可能影响图像的位置,而不是将所有求值均匀分散在空旷空间中。
尽管名称中使用了“辐射”一词,基础 NeRF 并不求解完整的光传输问题。其渲染模型不会显式计算表面之间的光线反弹、随光照变化的阴影,或光线穿过界面时的折射。当照片能够为这些效果提供足够约束时,模型可以通过学习外观来再现它们,但再现其外观并不等于辨识出产生这些效果的物理过程。在改变光照、移动物体,或要求生成远超拍摄范围的视角时,这一区别尤为重要。
从照片重建
通常,输入是一组 RGB 照片及其相机内参与位姿。内参描述焦距、主点等属性;位姿则指定相机在共同坐标系中的位置与朝向。对于普通照片集,运动恢复结构可以估计这些参数,并生成稀疏点云。相机标定至关重要,因为每个训练像素都必须与正确的空间射线对应。镜头畸变、位姿不准确、滚动快门或不合适的相机模型,都可能导致观测结果彼此不一致。
训练时,通常从输入图像中分批采样射线,渲染其预测颜色,并最小化光度损失函数。一种常见的目标函数为
其中, 是一批训练射线。最初的系统对粗、细两级预测都施加颜色损失,并使用Adam优化器。随机采样像素和沿射线的位置,可以避免在每次更新时渲染整个训练集。
虽然基本训练不需要真实的三维几何数据作为监督,但这并不意味着重建不受约束。渲染方程、共享的空间表示和相机模型都引入了很强的结构性假设。在不同照片间以一致方式移动的图像区域,可以通过视差帮助约束深度。相比之下,颜色均匀的墙面、重复图案,或仅在一张图像中可见的表面,都可能存在多种不同的解释。因此,区分观测到的颜色与推断出的几何结构至关重要。
仅靠光度拟合也可能得到退化解。当视角变化不足时,模型可能将密度放在错误的位置,同时依靠足够灵活的方向相关颜色来重现训练图像。稀疏视角系统往往会加入正则化、深度观测、表面约束,或从其他场景中学到的先验。位姿优化方法会联合调整相机参数与辐射场;2021 年提出的 BARF 通过由粗到细地控制位置编码,帮助在优化过程中对齐图像。这类联合优化仍然对初始化和场景歧义较为敏感。
拍摄条件会以特定方式影响重建。模糊照片会削弱高频信息;自动曝光的变化会导致像素值发生与场景结构无关的改变;移动的人物不符合静态场景模型的假设;而过短的相机基线只能提供很少的深度信息。前景掩码、曝光参数、瞬态物体分量和深度传感器可以解决某些具体问题,但也会改变系统的假设与监督方式。因此,拟合得到的 NeRF 应被理解为特定拍摄条件与建模设定下的一个解,而不是对物理上实际存在的一切所作的唯一确定的还原。
加速与其他场景编码方式
最初的 NeRF 计算开销很大,因为生成一幅图像需要在每条像素射线上的许多位置对一个规模不小的网络进行求值。当图像包含一百万个像素、每条射线需要进行数百次采样求值时,一次渲染就涉及数亿次场查询。在最初的实验中,使用当时的一块图形处理器拟合一个场景可能需要约一到两天,而渲染一幅图像可能需要数十秒。这些数字反映的是当时的实现方式和硬件条件,并不代表辐射场在计算耗时上存在这样的固有下限。
一种主要的加速策略是将场景特有的信息从网络权重转移到空间数据结构中。体素网格可以存储密度和学习得到的特征,并通过插值求出网格顶点之间的值,再由一个小型解码器将特征转换为外观。2022 年发表的 Plenoxels 更进一步,直接优化一个存储密度和球谐颜色系数的稀疏网格,无须使用神经网络来表示场本身。这些方法表明,NeRF 的重建能力在很大程度上源于可微分的体积优化,而非完全依赖深度多层感知机。
Thomas Müller 及其同事于 2022 年提出的 Instant Neural Graphics Primitives 引入了一种影响尤为深远的多分辨率哈希编码。每个空间点都被映射为从多种分辨率的网格中插值得到的特征。高分辨率网格使用容量受限的哈希表,而不是为每个可能的顶点单独分配一个条目,再由一个小型网络对拼接后的特征进行解码。哈希冲突会使某些位置共享参数,而多种分辨率则有助于区分不同的空间上下文。结合经过优化的 CUDA 内核和射线步进策略,这种方法大幅缩短了许多有界场景的训练和渲染时间。
其他表示方法不仅着眼于运算开销,也力求降低内存占用。同样发表于 2022 年的 TensoRF 将场景张量分解为低维分量,而不是存储完整的稠密三维网格。基于平面的表示方法也采用类似思路,将信息分布在多个二维特征数组中。这类编码需要在存储开销、插值特性、方向表达能力以及表示复杂空间相关性的能力之间作出权衡。某种紧凑的分解方式可能对一类场景分布很高效,但对另一类场景分布的效果却不那么好。
采样与硬件执行同样重要。占用网格可以跳过很可能为空的区域,而射线提前终止机制则能在不透明度达到足够高的水平后,停止对后续采样点求值。提议网络用于估计哪些位置值得进行精细采样。融合内核能够减少中间结果的内存读写,批处理则利用了并行计算。这些技术针对不同的瓶颈:编码方式可以降低每次查询的成本,而占用结构则可以减少查询次数。
因此,需要谨慎解读所报告的加速效果。训练时间、图像分辨率、场景范围、内存占用、图像质量和硬件条件必须综合考虑。某个渲染器在渲染一个范围有限的小物体时能够达到交互帧率,并不意味着它在城市尺度的环境中也能做到。同样,利用标定良好的照片快速完成重建,也不等同于一套还要估计位姿、处理异常值并生成可部署场景表示的端到端流程。
像素足迹、无界场景与尺度
最初的表述主要将每个像素视为一条无穷细的射线。而真实像素会在一个有限的覆盖区域内对光进行积分,这个区域称为像素足迹,受镜头光学特性、曝光和传感器采样的影响。当重建场景包含比这一足迹更精细的细节时,点采样渲染就可能产生混叠:纹理随相机运动而闪烁,细小结构忽隐忽现,或远处的图案呈现出错误的频率。仅增加同一条中心射线上的深度采样数,本身并不能实现对像素横向足迹的积分。
Jonathan T. Barron 及其同事于 2021 年提出的 Mip-NeRF,将像素视为锥形光束,并用三维高斯分布近似表示光束的各个分段,以此解决上述不匹配问题。它不是在单个点上计算位置编码,而是计算每个分布上的积分位置编码。当所表示的区域较大时,高频分量就会衰减。对于均值为 、方差为 的高斯变量 ,关系式
说明了这一机制:较大的足迹会抑制无法可靠分辨的振荡。这种方法将神经场渲染与成熟的多尺度滤波原理联系起来。
场景的空间范围带来了另一项困难。有界网格或归一化坐标范围可以方便地表示桌面物体,但室外相机可能在同一幅图像中同时拍到近处的植被、远处的建筑和天空。在整个深度范围内均匀分配空间采样点,效率很低。NeRF++ 采用逆球面参数化,将前景与背景分开表示。其他方法则将无界坐标变换或收缩为有界表示,同时考虑由此引起的空间分布变化。
2022 年提出的 Mip-NeRF 360 将处理无界场景的工具与改进的采样和优化方法结合起来。其非线性场景收缩将远处的位置映射到有界区域内,使表示能够为邻近空间分配更高的有效分辨率。提议机制用于引导精细采样,而畸变正则项则抑制渲染权重沿射线不必要地分散。这些机制分别应对不同的失效情形:空间范围过大、深度采样分配低效,以及密度位置不确定。
当尺度进一步增大时,重建就变成了如何组织大量局部观测和局部表示的问题。大型环境可以划分成多个区块,每个区块使用相关的图像子集进行优化,并在跨区块边界渲染时相互协调。这减轻了单个场的负担,但也带来了接缝一致性、坐标对齐、可见性和内存流式加载等问题。随着图像集合规模扩大,天气、光照或拍摄日期的变化也会变得更加显著。
因此,尺度问题并不只是增加参数量那么简单。它会影响适用的相机模型、空间参数化、像素积分规则、采样分布和分层存储结构。一种方法即便能够重建大量空间点,在观察者大幅改变观察距离时仍可能失效,因为表示空间细节与针对新的图像分辨率对这些细节进行滤波,是两项不同的要求。
动态场景与跨场景泛化
静态辐射场为每个位置指定一个密度值和一个外观模型。运动主体的视频不符合这一假设:手在不同时刻占据不同的位置,物体在运动时也可能使表面显露或被遮挡。一种直接的扩展方式是将时间作为输入,得到场 。这种方式可以表示随时间发生的变化,但如果没有额外的结构约束,模型可能需要很大的容量,而且难以充分建立某一时刻的物质点与另一时刻同一物质点之间的对应关系。
另一种常见方法是将规范场与形变函数结合使用。一个随时间变化的映射将观测空间中的位置转换到参考坐标系中:
辐射场的查询在这一规范空间中进行,因此不同帧可以共享外观和几何信息。2021 年提出的 D-NeRF 和 Nerfies 是这类动态及可变形场景建模方法的代表。形变正则化十分重要,因为仅靠图像重建,可能会得到不合理或不一致的映射。
当场景可以解释为一个相对稳定的物体发生形变时,规范模型最为适用。当拓扑结构发生变化、物体出现或消失,或者不同表面相互接触又分离时,这类模型就更难应用。视角相关效应还会带来额外的复杂性:对空间位置进行扭曲,并不会自动变换观察方向,也不能保证高光以正确的方式移动。2021 年提出的 HyperNeRF 使用更高维的表示,来建模仅靠普通三维扭曲难以表达的变化。
真实图像集中的差异也可能源于几何运动之外的因素。2021 年提出的 NeRF in the Wild 引入了逐图像的外观嵌入和瞬态分量,以处理光照变化、存在临时遮挡物的非受控照片。这些变量有助于将持续存在的场景与特定观测中的变化区分开来。不过,以外观为条件并不等同于恢复具有物理可解释性的光照模型,瞬态分量本身也无法为运动物体提供连贯的动态重建。
另一个需要区分的问题是,模型是否针对每个场景单独优化。最初的 NeRF 是一种逐场景表示:训练得到的权重只描述一个环境。可泛化方法则在一组场景上进行学习,并以一张或多张输入照片为条件进行预测。2021 年提出的 PixelNeRF 使用图像特征作为辐射场网络的条件输入。这类模型可以利用学到的规律,快速生成重建的初始结果,或从稀疏视图中推断结构。
泛化需要在观测证据与先验预期之间进行权衡。当有大量相互重叠的图像时,重建可以在很大程度上依赖场景特有的约束;而只有一两张图像时,就必须根据学到的模式推断不可见的几何结构。看似合理的补全,并不一定符合被摄物体的真实几何结构。同样,扩散模型可以为辐射场生成或重建提供先验,但结果中可能包含输入照片无法支持的合成结构。
几何、材质与相关表示方法
NeRF 可以通过考察沿射线的渲染权重来估计深度。一种常见的累积深度计算方式为
如果需要计算累积前景的条件期望深度,还需除以 进行归一化。这对可视化和下游处理很有用,但得到的深度不一定对应某个清晰表面的位置。如果密度分布在多个层上,期望深度可能落在这些层之间。对通过密度梯度推导出的法线,也需要保持类似的谨慎。
通过选定密度阈值并运行等值面算法,例如移动立方体算法,可以提取出显式的多边形网格。阈值是一项建模选择,并非由物理边界唯一确定。即使渲染图像看起来很逼真,提取出的网格仍可能存在悬浮伪影、过厚的表面和孔洞,因为基于图像的训练并不直接要求生成干净、水密的网格。网格质量与新视角图像质量相互关联,但属于不同的评估目标。
面向表面的方法使用有符号距离函数表示几何,以缓解这种不匹配;该函数的值表示到表面的有符号距离。NeuS 和 VolSDF 均于 2021 年提出,将此类函数与可微体渲染公式联系起来。零等值面提供了更明确的几何对象,而体积积分则保留了有利于基于图像进行优化的性质。这些方法引入了更强的表面假设,因此并不能在所有类型的场景中与不受约束的体积场相互替代。
另一个扩展方向是将材质与光照分离。基本的方向相关颜色表示可以编码高光,却无法解释高光究竟源于材质粗糙度、光源位置,还是环境反射。相比之下,逆向渲染旨在求解几何、表面法线、光照以及双向反射分布函数等量。这种分解可以支持重新打光和材质编辑,但也存在更大的歧义:暗像素可能源于较低的反射率、较弱的光照、阴影,或这些因素的共同作用。因此,通常需要额外的假设、测量或先验信息。
一种备受关注的相关技术是三维高斯泼溅,由 Bernhard Kerbl 及其同事于 2023 年提出。它使用具有不透明度和方向相关外观的显式三维高斯基元表示场景,并通过泼溅渲染器进行投影与合成。与传统 NeRF 不同,它在渲染时不需要沿每条射线反复查询坐标网络。其实时渲染效果使其成为解决同一新视角合成问题的重要替代方案,不过两者在内存占用、几何表现、滤波和编辑特性等方面有所不同。
这些比较表明,场景表示、渲染算法和优化目标是彼此独立的设计选择。神经网络可以参数化表面或体积;体渲染可以在不使用神经解码器的情况下优化显式网格;高质量的视角合成系统也不一定能生成采用常规材质的可编辑资产。应采用何种表示,取决于所需输出究竟是图像、几何模型、可重新打光的对象,还是时间上连贯的场景。
评估、应用与尚未解决的局限
评估 NeRF 系统时,通常会留出一部分相机位姿已知的图像,再将渲染出的预测图像与这些图像进行比较。峰值信噪比衡量逐像素的重建精度;结构相似性指数评估局部结构的一致程度;学习感知图像块相似度则利用训练好的网络所提取的特征来比较感知内容。这些指标各自侧重不同类型的误差。相机位姿的微小偏差就可能显著影响像素级指标,而感知指标可能容忍某些对精确重建而言不可忽视的偏差。
公平的评估必须区分插值与外推。留出的测试相机若被训练视角包围,其所检验的能力,与放置在从未拍摄过背面的物体后方的相机所检验的能力并不相同。评估结果还取决于图像下采样、背景处理、曝光处理、场景掩膜,以及测试视图是否影响了参数选择。因此,进行比较时需要采用一致的数据集划分方式和结果报告规范。仅凭优异的图像指标,无法证明几何形状准确、不确定性估计经过校准,或系统对光照变化具有鲁棒性。
应用包括摄影场景浏览、物体数字化、视觉特效镜头重建,以及在虚拟现实中进行沉浸式展示。辐射场能够保留难以手工建模的外观,例如繁密的枝叶或随视角变化的反射。在文化遗产记录工作中,这使人们能够以交互方式查看采集的遗址或物体,但视觉上逼真的重建并不自动等同于经过度量验证的测绘成果。在图形制作流程中,如果光照与材质相互耦合,场景编辑就会比将二者作为独立的传统资产存储时更加困难。
机器人与地图构建研究将辐射场与同时定位与地图构建联系起来。可微分的场景模型有助于将预测观测与新输入的图像进行比较,其几何信息则可用于深度估计或定位。这些应用场景的要求超出了离线图像质量的范畴,还包括延迟上限、稳定的位姿跟踪、内存管理,以及对环境变化的适应能力。因此,系统可能会将辐射场组件与传统几何地图结合使用,而不是将照片级真实感渲染视为导航问题的完整解决方案。
观测不完整和模型不完善带来了一些持续存在的局限。透明物体和折射物体可能使沿直线光线解释观测颜色的方式失效;镜面可能促使模型形成虚拟或错误的几何结构;缺乏纹理的表面难以提供可靠的对应关系;纤细结构则可能在采样时被遗漏。被遮挡区域没有直接的摄影证据,而有关这些区域的不确定性未必会在渲染图像中显现。增大模型容量或许能更好地复现训练图像,却无法消除这些歧义。
采集数据的来源与访问权限同样是独立于渲染质量的问题。拟合得到的辐射场可能保留原始照片中的视觉细节,包括人脸、室内环境或可用于识别身份的物品。学习得到的表示本身并不会使这些观测内容匿名化。因此,在实际部署时,完整的评估不仅要关注重建保真度和速度,还要考察源图像、获准的使用范围,以及通过新合成的视图能够还原哪些信息。