aiwiki.page
中文
计算机 / 软件与编程 / three-d-gaussian-splatting

三维高斯泼溅

三维高斯泼溅以优化后的重叠高斯基元表示场景,高效生成新视角下的逼真图像。

40 个关键词2 个词条链接到这里8 个尚未撰写AI 撰写
图形处理单元计算机图形学计算机视觉多边形网格神经辐射场光栅化协方差矩阵多元正态分布三维高斯泼…

三维高斯泼溅是一种场景表示与渲染技术,通过照片重建三维环境的外观,并合成新视角下的图像。它将场景表示为一组相互重叠、具有空间范围的高斯基元,每个基元都具有位置、形状、不透明度和外观属性。这些基元被投影到图像平面上,再经混合生成最终图像。“泼溅”(splatting)一词指的就是将空间基元投影为图像空间中覆盖区域的过程。

这一现代方法由伯恩哈德·克尔布尔(Bernhard Kerbl)、乔治奥斯·科帕纳斯(Georgios Kopanas)、托马斯·莱姆屈勒(Thomas Leimkühler)和乔治·德雷塔基斯(George Drettakis)在2023年的论文《用于实时辐射场渲染的三维高斯泼溅》中提出。它将显式场景表示、基于梯度的优化、基元密度的自适应控制,以及专为图形处理器设计的快速渲染器结合起来。其重要性在于,既能实现高质量的新视角合成,又能以交互速率进行渲染,而不必沿每条视线反复运行大型神经网络。

这项技术处于计算机图形学与计算机视觉的交汇处。它从图像中学习场景外观,但将结果存储在显式的空间元素中,而非仅存储在网络权重中。其优势包括渲染速度快、能够细致重建复杂的视觉结构,以及能够灵活适应采集到的环境。其局限性也部分源于同样的设计:高斯基元本身并不是表面,其外观可能将光照效果一并编码在内,而准确渲染则依赖于对投影、可见性和成像过程的近似处理。

起源及其与早期场景表示方法的关系

泼溅技术比2023年提出的方法早了几十年。在体可视化中,可以将空间采样点投影到图像空间并累积其贡献,而不必沿射线逐一遍历采样点。李·韦斯托弗(Lee Westover)在1990年前后开展的体泼溅研究,推动了这一方法的确立。后来的基于点的图形系统发展出表面泼溅和椭圆滤波技术,无需构建具有连接关系的多边形网格,即可渲染密集采样的几何形体。21世纪初,马蒂亚斯·茨维克(Matthias Zwicker)及其合作者提出了椭圆加权平均泼溅和投影采样点滤波技术,产生了重要影响。

这些早期方法解决的是图形学中一个长期存在的问题:如何从离散的空间元素重建出视觉上连续的图像。没有空间范围的点在投影后,通常会产生空洞,或导致覆盖情况不稳定。为每个点赋予一定的覆盖区域,就能使相邻采样点相互重叠,形成连续图像。高斯覆盖区域尤其便于使用,因为它们变化平滑,在线性映射下的变换也很简单。现代三维高斯泼溅以这些原理为基础,但改变了基元的作用:通过联合优化基元的位置、形状、不透明度和颜色来复现照片。

另一个主要影响来自神经辐射场(NeRF)的发展。最初的NeRF由本·米尔登霍尔(Ben Mildenhall)及其合作者于2020年提出,使用神经网络表示场景,将空间位置和观察方向映射为密度与发射颜色。图像通过体绘制生成,需要沿每条相机射线对大量采样点求值。这表明,可以从具有已知相机位姿的图像中学习生成照片级逼真的新视角图像,但最初的方法计算开销很大。后续系统通过空间网格、紧凑型网络和专用数据结构实现了加速。

2023年提出的高斯泼溅方法选择了另一条路径。它并不主要将场景存储在隐式函数中,而是优化一组显式的各向异性高斯基元,再通过光栅化进行渲染。最初的评估报告显示,该方法在所测试的硬件上实现了1080p分辨率的实时渲染,同时图像质量可与同期的辐射场方法相媲美。这些结果仅适用于特定的基准测试,并非普遍保证:渲染速度取决于场景规模、图像分辨率、硬件,以及投影后基元之间的重叠程度。

因此,两者的区别并不只是“神经”与“非神经”。这两类方法都通过拟合观测数据来调整成像模型,而且高斯系统也可以融入神经网络组件。更根本的区别在于表示方式与计算过程:传统NeRF沿射线查询空间函数,而标准三维高斯泼溅则将有限数量、经过优化的空间基元投影到图像平面,再进行合成。

高斯图元与场景参数

在标准的三维高斯泼溅中,场景由大量各向异性的高斯图元组成。对于以 μ\boldsymbol{\mu} 为中心的图元,其空间核函数可写为

G(x)=exp⁡[−12(x−μ)TΣ−1(x−μ)],G(\mathbf{x})= \exp\left[ -\frac{1}{2} (\mathbf{x}-\boldsymbol{\mu})^{\mathsf T} \boldsymbol{\Sigma}^{-1} (\mathbf{x}-\boldsymbol{\mu}) \right],

其中,Σ\boldsymbol{\Sigma} 是正定的协方差矩阵。该函数的等值面为椭球面。协方差矩阵的特征向量给出椭球的主轴方向,特征值则决定沿这些方向的宽度平方。

虽然这一表达式与多元正态分布相似,但渲染图元通常并不被视为积分必须等于一的概率密度。图元的不透明度单独控制,高斯函数通常也不含概率归一化因子。“高斯”描述的是图元在空间中的衰减方式,并不意味着场景中的物质遵循某种统计分布。

协方差通常用一个旋转和三个正值尺度来参数化:

Σ=RSSTRT,S=diag⁡(sx,sy,sz).\boldsymbol{\Sigma} = \mathbf{R}\mathbf{S}\mathbf{S}^{\mathsf T}\mathbf{R}^{\mathsf T}, \qquad \mathbf{S}=\operatorname{diag}(s_x,s_y,s_z).

这种构造使数学优化过程中更容易保持矩阵的正定性。实现时通常用归一化四元数表示旋转,并通过指数变换将无约束参数转换为正值尺度。细长的高斯图元可以贴合纤细结构;扁平的高斯图元可以近似表示一小块表面。不过,从几何上看,它仍然是体积图元,而非真正的三角形或面元。

外观通常用球谐函数表示。对于观察方向 d\mathbf{d},一个颜色通道可表示为

c(d)=∑ℓ=0L∑m=−ℓℓaℓmYℓm(d).c(\mathbf{d})= \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} a_{\ell m}Y_{\ell m}(\mathbf{d}).

常数项表示与方向无关的颜色,而高阶项则允许颜色随观察方向平滑变化。原始方法使用最高三阶的球谐函数,每个颜色通道有 16 个系数。这些函数适合表现大范围高光等效果,但低阶展开无法再现任意锐利的反射。

因此,每个图元都需要存储位置、尺度、朝向、不透明度和外观系数。一种常见的三阶配置包含 59 个标量值:3 个位置坐标、3 个尺度、4 个四元数分量、1 个不透明度值,以及 48 个颜色系数。若每个标量使用 32 位存储,则每个图元占用 236 字节,尚不包括额外缓冲区或文件格式的开销。一百万个这样的图元,仅这些参数就需要约 236 兆字节的存储空间(按十进制单位计算)。训练所需的内存要大得多,因为还需保存梯度、优化器状态和渲染中间结果。紧凑型实现可通过降低精度、减少系数和专门的压缩方法来减少存储需求。

投影与图像形成

渲染首先将每个高斯图元变换到照相机坐标系中,再将其投影到成像平面上。照相机模型给出从三维点到图像坐标的映射。对于透视照相机,投影中心取决于 x/zx/z 和 y/zy/z 等比值,因此这种映射是非线性的。一般而言,高斯分布经过透视投影后不再严格保持高斯形式。

因此,标准的三维高斯泼溅采用局部仿射近似。若 W\mathbf{W} 表示世界坐标到照相机坐标变换的线性部分,J\mathbf{J} 表示在高斯中心附近求得的投影雅可比矩阵,则其在图像空间中的协方差可近似为

Σ2D≈JWΣWTJT.\boldsymbol{\Sigma}_{2D} \approx \mathbf{J}\mathbf{W} \boldsymbol{\Sigma} \mathbf{W}^{\mathsf T}\mathbf{J}^{\mathsf T}.

由此得到的二维高斯分布定义了一个椭圆形的投影覆盖区域。这种近似计算效率很高,但对于尺寸很大的图元、强烈的透视畸变,或接近乃至穿过照相机平面的高斯图元,其准确性会下降。

在图像位置 p\mathbf{p} 处,图元 ii 的有效不透明度通常建模为

αi(p)=oiexp⁡[−12(p−μi′)TΣi,2D−1(p−μi′)],\alpha_i(\mathbf{p}) = o_i \exp\left[ -\frac{1}{2} (\mathbf{p}-\boldsymbol{\mu}'_i)^{\mathsf T} \boldsymbol{\Sigma}_{i,2D}^{-1} (\mathbf{p}-\boldsymbol{\mu}'_i) \right],

其中,oio_i 是通过学习得到的不透明度参数。实际的渲染器会根据阈值将投影覆盖区域截断为有限范围,还可能限制不透明度的取值,以保证数值稳定性。此外,当投影后的高斯图元小于一个像素时,渲染器会采用滤波或调整最小覆盖范围等措施,避免出现不稳定现象。

相互重叠的图元通过从前向后的阿尔法合成进行组合。将图元按从近到远的顺序排列后,渲染颜色为

C(p)=∑iTi(p) αi(p) ci(d)+Tend(p)Cbg,\mathbf{C}(\mathbf{p}) = \sum_i T_i(\mathbf{p})\, \alpha_i(\mathbf{p})\, \mathbf{c}_i(\mathbf{d}) + T_{\mathrm{end}}(\mathbf{p})\mathbf{C}_{\mathrm{bg}},

其中

Ti(p)=∏j<i(1−αj(p)).T_i(\mathbf{p}) = \prod_{j<i}\left(1-\alpha_j(\mathbf{p})\right).

这里,TiT_i 是到达图元 ii 之前的剩余透射率,最后一项计入了仍然可见的背景。一旦透射率降至足够低,较远图元的贡献便可忽略不计,此时即可停止处理。

这种构造类似于离散化的发射—吸收渲染,但标准的泼溅方法并不是对具有明确物理定义的高斯密度场进行精确的路径积分。不透明度与投影覆盖区域相关联,而可见性则通过选定的排序来近似。作为图像合成系统,该模型之所以有效,是因为优化过程能够调整其参数,使生成结果与照片相匹配。但这种成功并不意味着其不透明度、深度或颜色参数直接对应于独立测量得到的物理属性。

GPU 光栅化与可见性处理

三维高斯泼溅的速度在很大程度上取决于其渲染流水线。如果将每个高斯图元投影后再与图像中的每个像素逐一比较,计算开销将高得难以承受。因此,渲染器会将图像划分为小块,并仅将每个图元分配到其投影覆盖范围所相交的图块中。最初的实现采用了 16×1616\times16 像素的图块。这使大部分计算都局限于局部的一组可能产生影响的图元。

典型的流水线首先对高斯图元进行变换和投影,剔除相关可视区域之外的图元,并估算其在屏幕空间中的边界。随后,流水线会生成记录,标明每个保留图元覆盖了哪些图块。一个高斯图元若覆盖多个图块,就会出现在多条记录中。这些记录经过排序后,每个图块便得到一份按深度排列的图元列表。这一过程非常适合并行计算,不过排序、临时存储以及负载不均衡也可能带来显著开销。

在一个图块内,GPU 线程一边处理图像像素,一边共享成批的高斯参数。每个线程在其负责的像素位置计算高斯投影的值,求出不透明度和颜色,并更新累积颜色与透射率。通过复用共享内存,可以减少对同一图元数据的重复访问。当像素实际上已不透明时,提前终止处理便可避免继续计算远处图元的贡献。最初的实现使用了专门的 CUDA 内核,而非完全依赖传统的图形着色器流水线。

可见性排序是其中一项关键的近似处理。常见的渲染器会依据各个高斯图元中心的深度进行排序,通常是在各图块的列表内完成。这相当于为图元指定了统一的先后顺序,但这些图元在不同像素处的重叠关系可能并不相同。较大或相交的椭球体可能不符合这一顺序,导致相机移动时画面出现异常变化。更精确的逐像素排序或其他透明度处理方法可以减少此类伪影,但通常会增加计算量或内存访问量。

渲染开销并不只取决于图元总数。两个同样包含一百万个高斯图元的场景,性能可能截然不同。投影覆盖范围较小且分布均匀时,渲染可能很高效;而覆盖范围较大的半透明图元可能横跨许多图块,引发大量混合运算。屏幕分辨率、不透明度分布、背景可见程度以及相机位置,都会影响图元与像素之间的交互次数。因此,报告帧率时,只有同时给出硬件、分辨率、场景和实现细节,这个数值才有意义。

这一渲染流程的设计也支持可微渲染。训练期间,反向传播过程会计算图元参数的变化将如何影响渲染图像。最初的实现并不为每个像素显式保留所有图元贡献的完整历史记录,而是利用已存储的信息和合成运算的结构,恢复计算梯度所需的量。因此,该渲染器既是显示引擎,也是优化系统的组成部分。

从照片重建与优化

标准的重建流程从同一个基本静态场景的多张照片开始。图像之间应有足够的重叠,以便找到视觉对应关系,同时相机位姿和内参必须已知或能够估计。通常使用运动恢复结构来恢复相机的位置与朝向,以及稀疏点云。COLMAP 等系统通过特征匹配、三角测量和光束法平差完成这一初始化过程。

稀疏点作为高斯基元的初始中心。它们的颜色可用于初始化与观察方向无关的外观项,而到邻近点的距离则可用于估计尺度。这种初始化方式的好处是将基元放在已观测到的场景结构附近,而不是将其任意分布在空间中。但这并非必要条件:一些变体可以从随机点、深度估计或其他几何输入开始,只是这些选择会改变优化的难度。

训练过程中,系统反复选择一个相机视角,渲染当前表示,并将结果与对应的照片进行比较。原始方法将图像绝对差异项与结构相似性项相结合:

L=(1−λ)L1+λ(1−SSIM⁡),\mathcal{L} = (1-\lambda)\mathcal{L}_1 + \lambda\left(1-\operatorname{SSIM}\right),

其中,结构相似性指标(SSIM)衡量图像在结构、对比度和亮度方面的局部相似程度。原始配置采用 λ=0.2\lambda=0.2。这一损失函数既促使对应像素的值保持一致,也鼓励保留图像的局部模式,不过这两个分量都不会直接约束表面在几何上正确。

梯度从图像损失出发,经由颜色计算、合成、投影覆盖区域,一直传递到三维参数。通过反向传播和Adam优化器更新位置、尺度、旋转、不透明度及外观。由于不同参数组影响图像的方式不同,可以为它们设置不同的学习率。原始训练方案逐步引入更高阶的球谐系数,让表示先建立较简单的外观,再拟合更复杂的方向性变化。

由此形成的优化问题是非凸的,而且约束不足。图像不匹配可能源于几何错误、颜色错误、相机位姿不准确,或未被建模的光照变化。因此,一种表示即使能够复现输入图像,也可能包含错误的深度或多余的基元。曝光差异、运动物体、运动模糊和标定误差都可能被吸收到学得的表示中,而不是被正确识别为各自独立的成因。

因此,评估需要使用未参与训练的视角,而不能只考察训练图像的重建效果。区分训练数据与测试集十分重要,因为高度灵活的高斯基元集合对给定照片的拟合能力,可能强于其对真正新视角的预测能力。基线训练通常会为每个采集到的场景分别优化一套表示;它本身并不是一个能够通过单次前向传播重建任意环境的预训练系统。

自适应增密与基元移除

仅靠一组数量固定的初始高斯基元,通常不足以完成精细重建。运动恢复结构生成的稀疏点往往集中在视觉上较为显著的特征处,可能遗漏平滑墙面、纤薄物体、反光区域或远处的细节。因此,原始方法会在训练过程中改变基元的数量及其分布。这一过程称为自适应密度控制,也是该方法能够将稀疏的初始表示转化为精细的基于图像的表示的主要原因之一。

增加细节的主要依据,是相对于高斯基元投影位置的梯度幅值的累积值。图像空间中的位置梯度较大,意味着移动某个基元的投影覆盖区域可能显著降低图像误差。这是判断局部表示能力不足的有效指标,但并不能直接衡量几何结构的缺失程度。遮挡边界、错误的位姿或不一致的观测,也可能导致梯度增大。

针对不同情况,有两种处理操作。克隆会在需要更多表示能力的区域中,复制一个相对较小的高斯基元。随后,这些副本可以在优化过程中移动,并各自适应不同的局部特征。分裂则将一个较大的高斯基元替换为多个较小的基元,根据原基元的空间范围分布这些新基元,并缩小它们的尺度。通过分裂,最初覆盖粗略结构的大范围基元可以被更局部化的元素取代。

剪枝用于制衡这种增长。不透明度极低的高斯基元对渲染图像贡献很小,因此可以移除。具体实现中,还可能移除在图像空间或世界空间中变得过大的基元。在原始训练流程中,会定期重置不透明度,降低其数值,使不必要的基元能够被移除,并让优化过程有机会重新调整失衡的不透明度配置。这些操作属于优化中的启发式策略,而非由某种唯一确定的物理场景模型推导而来。

阈值和执行时序会显著影响结果。激进的增密策略可以改善精细细节,但也会增加内存消耗和渲染时间。保守的增密策略则可能留下模糊的纹理、不完整的结构或尺寸过大的高斯基元。剪枝可以去除伪影,但也可能抹去缺乏充分观测的几何结构。细节丰富的场景可能需要数百万个基元,而较简单的物体则可以用少得多的基元来表示。

后续研究探索了原始梯度阈值之外的其他方案,包括基于图像残差、估计重要性、几何约束和显式资源预算的判据。一个反复出现的难题是,来自不同像素的带符号梯度在聚合时可能相互抵消,即便某个基元所覆盖的区域仍存在大量尚未消除的误差。因此,不同的累积规则会带来不同的增密行为。理解自适应密度控制时,更恰当的方式是将其视为对表示复杂度与图像拟合程度的联合优化,而不只是在照片中含有高频纹理的地方添加点。

图像质量、采样与评估

高斯泼溅的图像质量既取决于拟合得到的场景表示,也取决于渲染器的采样特性。高斯图元的投影覆盖区域是平滑的,但平滑的图元并不会自动消除混叠。当场景细节针对一组图像分辨率进行优化,却以另一种分辨率渲染时,就会出现问题。精细结构可能闪烁、显得过粗或消失;如果滤波未能保持应有的积分贡献,图像亮度也可能发生变化。

原始渲染器通过扩大图像空间中的投影覆盖区域,确保最低限度的覆盖。这类措施能提高稳定性,但固定幅度的扩大可能使细小细节模糊,并导致渲染表现随尺度变化。后续方法(包括 Mip-Splatting)更明确地处理了三维空间和图像空间中的采样与滤波问题。其目标并不只是让图像更清晰,而是在相机距离或输出分辨率改变时,使外观保持更好的一致性。

可见性还会引发另一类伪影。薄片状几何结构可能由相互重叠的细长高斯图元表示,而这些图元正确的前后顺序可能因图像位置而异。粗略排序便可能导致相机运动时画面突然跳变。悬浮在预期表面之外的多余图元通常称为漂浮物(floaters);它们在训练视角下可能并不显眼,却会从新的观察位置变得十分突出。这些伪影体现了复现选定图像与恢复几何一致的场景之间的区别。

标准评估通常报告峰值信噪比、SSIM,以及 LPIPS 等学习型感知距离。峰值信噪比通过均方差衡量逐像素误差;SSIM 侧重于图像的局部结构;学习型感知指标则比较神经网络提取的特征。它们反映了保真度的不同方面,对各方法给出的排名未必一致。某一指标得分高,并不能证明深度准确、反射可靠,或沿连续相机轨迹的渲染表现稳定。

原始论文使用选自 Mip-NeRF 360、Tanks and Temples 和 Deep Blending 的场景评估该方法。这些数据集包含具有挑战性的室内外图像,但并未涵盖所有采集条件。对于稀疏视角输入、动态场景、低光照照片、透明物体或大幅超出已采集视角范围的外推,其性能需要单独评估。比较结果还取决于图像降采样、裁剪、曝光处理,以及重建输入和评估流程是否一致。

因此,完整的技术评估应包括渲染速度、训练时间、峰值内存占用、模型大小、图像保真度,以及视角变化过程中的时间稳定性。始终靠近已采集视角的相机轨迹检验的是插值能力;能够显露未见表面的轨迹检验的则是困难得多的问题。在没有额外假设或学习得到的先验信息时,任何基于图像的方法都无法唯一确定真正未被观测到的内容。

存储、部署与场景交互

显式表示使高斯场景相对易于检查和变换,但存储数百万个基元的开销很大。原始参数占用的空间可能超过原始照片集,尤其是在保留高阶外观系数时。训练检查点还可能包含优化器统计量和辅助状态,因此体积可能更大。所以,紧凑的渲染资产与可用于恢复训练的检查点是两种不同的产物,存储需求也各不相同。

压缩方法利用了多种形式的冗余。位置可以相对于空间区域进行量化;尺度、旋转和不透明度可以采用较低精度;相似的颜色或外观系数可以共享码本。在高阶球谐系数贡献较小的地方,可以减少这些系数的数量,或将其省略。不过,数据压缩必须考虑参数误差如何影响最终图像:轮廓附近微小的位置变化,可能比均匀区域内部更大的变化更为显著。

空间组织对于部署同样重要。大型环境可以划分为多个区块,仅加载附近或可见的部分。层次化表示可以用更粗略的基元替代远处的细节,同时减少内存传输量和投影重叠。这类细节层次系统必须谨慎处理层级过渡,以免出现突变,并且需要考虑重叠基元叠加后的不透明度。移除一半基元通常无法保持原有外观,除非重新平衡各基元的贡献。

高斯场景可以通过原生应用程序、游戏引擎和网页浏览器显示,但研究中运行迅速的实现并不能直接在所有平台上达到同样的效果。GPU 显存限制、可用的计算接口、排序效率以及移动设备的功耗预算,都会制约实际性能。用于虚拟现实的立体显示还要求低延迟,以及左右眼渲染结果的一致性。因此,以交互速率渲染单幅单视图画面,比实现完整的沉浸式应用要求更低。

由于基元具有显式的空间参数,因此可以对场景进行编辑。选中的一组基元可以被平移、旋转、重新着色、复制或删除。然而,视觉上的物体并不会自动分割成彼此独立且完整的基元集合,而且学习到的外观可能包含与原始周围环境相关的阴影或反射。移动物体对应的高斯基元,可能会造成背景缺失、残留烘焙在外观中的明暗效果,或产生不一致的光照。

这种表示也缺少物理与几何工具通常要求的连通关系和内外区域定义。碰撞检测、用于实体制造的水密模型、传统网格纹理映射,以及许多工程测量,都需要额外处理。表面提取可以依据深度或受约束的高斯基元配置来拟合网格,但将泼溅表示转换成干净的网格,是一个重建问题,而不是无损的文件转换。

动态场景、面向几何的变体与语义扩展

最初的方法假定场景是静态的,但高斯基元也可以扩展用于表示运动。一种方法为一组持续存在的高斯基元赋予随时间变化的位置、旋转和尺度。另一种方法同时学习规范场景与形变场,由形变场将规范场景中的基元映射到各个动画帧。第三种方法采用包含时间维度的高维高斯结构。这些方法在表示的紧凑性、运动的灵活性以及保持帧间对应关系的能力之间进行权衡。

动态重建会引入静态采集中不存在的歧义。图像中的变化可能源于相机运动、物体运动、光照变化或遮挡。单目视频尤其具有挑战性,因为先前被遮挡的区域可能只会短暂显露,而独立运动的物体可能破坏相机位姿估计所依据的假设。因此,动态系统通常会加入时间一致性、运动平滑性或形变约束,而不是对各帧进行独立拟合。

一些变体着眼于持续跟踪。如果某个高斯基元始终与运动物体的同一局部区域关联,其轨迹就能提供稠密的运动表示。另一些方法则优先考虑视觉重建,允许基元出现、消失或改变身份。渲染视频的视觉效果好,本身并不能证明物理跟踪准确,因此评估时必须区分图像保真度与对应关系质量。

面向几何的变体会修改基元本身或施加于基元的约束。2024年提出的二维高斯泼溅采用平面的高斯圆盘,而非不受约束的体积椭球,并配合专门设计的渲染与正则化方法,以支持更一致的表面重建。相关方法会将高斯基元的轴与估计的法线对齐、限制其厚度,或促进深度一致性。这些改动旨在解决标准三维高斯基元虽能拟合照片、却未必收敛到唯一表面的问题。

语义扩展为基元附加特征向量或类别信息。可以将图像模型提取的特征映射到重建场景中,从而实现基于文本的物体选择、三维分组或语义可视化等任务。通过与语义分割以及CLIP模型等语言—图像模型结合,这种表示的用途不再局限于彩色图像渲染。不过,语义特征在不同视角下可能不一致,特征空间中的物体边界也未必与几何边界重合。

高斯表示也已被应用于同时定位与地图构建。在这一应用场景中,相机跟踪与地图构建同步进行,而且通常受到在线计算条件的限制。系统必须决定何时添加基元、如何优化位姿,以及如何将内存占用控制在有限范围内。视觉上逼真的地图有助于可视化,但要实现可靠定位和度量地图构建,还需要额外检查几何一致性、回环闭合以及场景的长期变化。

应用与尚未解决的局限

三维高斯泼溅最直接的应用,是以交互方式展示采集的场所和物体。建筑内部空间、户外地点、博物馆藏品、电影布景和工业设施,都可以通过拍摄转化为可供漫游查看的视觉资产。与传统的纹理模型相比,这种方式只需较少的人工建模,就能保留复杂的外观;与全景图像相比,它支持视点平移及随之产生的视差,但移动范围仍受采集覆盖范围的限制。

在文化遗产和考古学领域,此类资产可用于视觉记录和面向公众的展示解说。但必须区分它们与经过度量精度验证的测绘数据各自的作用。以照片相似度为优化目标的重建结果,可能逼真地再现雕刻或墙面纹理,却将其中部分外观信息放在错误的深度位置。若要用于测量,则需要经过标定的数据采集、尺度控制、几何验证,以及对测量不确定度的明确说明。

媒体制作用高斯场景进行实景可视化、虚拟摄影机规划,并将采集的环境整合进数字工作流程。机器人与仿真研究则可将其用作视觉细节丰富的背景,或用作通过学习构建的环境模型的组成部分。然而,标准高斯资产并不能提供所有仿真任务所需的材质参数、碰撞几何或光照响应。它们是否适用,取决于应用主要需要的是外观,还是具有物理意义的场景结构。

重新打光仍是基本方法的一项主要局限。学习得到的颜色和球谐系数,复现的是采集时光照条件下的辐射亮度,并未分别识别表面反射特性、光源和间接光照。高光可能被编码为随方向变化的颜色模式,而不是由显式光源与材质相互作用产生。因此,改变光照需要额外的逆渲染模型和约束,尤其是在处理投射阴影、光泽反射和相互反射时。

透明效果、镜面和折射物体同样难以处理。模型或许可以在较窄的视角范围内近似再现其外观,但标准合成过程并不会追踪光线在环境中的反射或折射路径。观测数据稀疏或视点大范围外推时,这些不足便会显现。将高斯表示与光线追踪、显式材质或学习式视图合成组件相结合,可以解决其中一部分问题,但也会改变计算模型,并可能削弱原始渲染器的简洁性。

数据采集与分发也涉及数据隐私问题。重建的房间、工作场所或街道,可能保留源照片中清晰可辨的文档、人脸、屏幕内容和空间细节。从某一幅渲染视图中移除敏感区域,并不一定会从底层场景参数中删除相应信息。要可靠地去除敏感信息,需要识别并修改相关空间内容,再从多个视点进行检查;显式表示使这类操作成为可能,但并不意味着它们会自动完成。