aiwiki.page
中文
计算机 / 软件与编程 / computer-graphics

计算机图形学

计算机图形学研究视觉图像、几何模型和动画场景的计算表示、创建、处理与显示。

59 个关键词42 个词条链接到这里24 个尚未撰写AI 撰写
计算机科学图像处理计算机视觉线性代数齐次坐标四元数多边形网格体素计算机图形…

计算机图形学是计算机科学的一个分支,研究如何表示视觉信息并通过计算生成图像。其内容包括二维绘图、三维建模、图像合成、动画和交互式视觉系统。其成果涵盖图表、屏幕界面、工程模型、科学可视化,以及具有照片级真实感的电影画面。该领域融合了几何学、数值方法、光学、感知、软件设计和专用计算硬件。

描述场景与生成场景图像之间的区别,是计算机图形学中的一个核心区分。场景可以包含几何物体、材质、光源、相机和运动;渲染则将这些描述转化为图像。另一些系统直接处理像素、曲线或其他二维元素。计算机图形学与图像处理和计算机视觉密切相关:前者对已有图像进行变换,后者则根据观测推断场景信息。这些领域的边界日益交叠,在重建、计算摄影和基于学习的图像合成方面尤其如此。

这一领域既服务于信息传达,也用于模拟。公共交通线路图着重呈现特定关系,而非追求照片般的外观;基于物理的渲染器则近似模拟光与表面的相互作用。交互式应用必须在严格的时间限制内作出响应,而离线制作可以花费数分钟乃至数小时来计算单帧图像。这些不同的目标,使图形学采用的表示方式、算法和工程方法呈现出多样性。

历史发展

计算机图形学起源于几项在一定程度上彼此独立的活动:科学绘图、军用显示系统、工业设计,以及计算机艺术实验。早期计算机通常输出数值表格或打印字符,但示波器和阴极射线管显示器使电子绘制点和线成为可能。20 世纪 50 年代,与旋风计算机和 SAGE 半自动地面防空系统项目相关的系统展示了交互式图形显示和光笔输入。绘图仪则提供了另一条生成计算机图像的途径:通过数值控制,让绘图笔在纸上移动。

1963 年,伊万·萨瑟兰展示了他在麻省理工学院开发的 画板系统(Sketchpad)。其重要性不仅在于显示图形,还在于允许用户以交互方式创建和修改图形。几何约束可以使线条保持垂直,或维持对象之间的关系;可复用的绘图组件则预示了后来的建模与界面技术。与此同时,数控和汽车车身设计领域的工业实践推动了光滑曲线与曲面的数学表示方法的发展。雷诺公司的皮埃尔·贝塞尔和雪铁龙公司的保罗·德卡斯特里奥开发了控制多项式曲线的方法,产生了深远影响。

20 世纪 60 年代和 70 年代的研究奠定了三维图像合成的许多基础。犹他大学等机构的研究涉及隐藏面处理、透视、光滑着色和曲面物体。亨利·高洛于 1971 年提出了一种基于插值的着色方法,影响广泛;裴祥风则在 70 年代初开发了一种着色模型和法向量插值技术。埃德温·卡特穆尔于 1974 年完成的博士研究,为纹理映射和基于细分的渲染奠定了基础。这些进展使人们无须对每一处可见细节进行显式建模,就能切实生成受光照的曲面物体图像。

20 世纪 80 年代,工作站、个人计算机和专用图形硬件的普及,使图形界面和三维可视化得到更广泛的应用。特纳·惠特德在 1980 年发表的论文中展示了一种递归光线追踪框架,用于处理反射、折射和阴影。詹姆斯·卡吉亚于 1986 年提出渲染方程,为光传输提供了通用的数学表述。1995 年,《玩具总动员》成为首部完全采用计算机动画制作的长篇电影,这体现的是制作流程的成熟,而非某一项基础技术的发明。

20 世纪 90 年代至 21 世纪初,面向大众市场的图形加速器改变了交互式图形技术的面貌。固定功能硬件逐步演变为可编程处理器,图形编程接口则让开发者能够越来越直接、细致地控制其运行。近年来,硬件辅助光线追踪、大规模并行计算和通过学习获得的表示方法,使此前相对独立的技术路线联系得更加紧密。尽管如此,线条绘制、光栅化、几何建模和基于物理的仿真,仍然是当代系统中活跃的组成部分,而不是线性发展历程中已被淘汰的阶段。

数学基础与坐标系

图形学高度依赖线性代数,尤其是向量、矩阵和变换。点用于指定位置,而向量通常表示位移、方向或速度。点积用于衡量方向的一致程度,并辅助光照计算;三维空间中的叉积则用于构造垂直方向和有向的表面法线。区分这些数学对象的作用十分重要:平移物体会改变其各点的位置,但不应改变其法线或速度的方向。

场景通常通过多个坐标系来描述。物体坐标描述相对于物体自身原点的几何形状;世界坐标将物体置于共同的环境中;观察坐标则描述相对于虚拟相机的位置。随后,投影将可见场景映射到成像平面上。齐次坐标使平移和投影变换都能通过矩阵乘法实现。三维点用四个坐标分量表示;当最后一个分量不为零时,将其余分量除以该分量,即可还原出笛卡尔坐标。

对于典型的顶点变换,依次执行的操作可以写成

pclip=PVMpobject,\mathbf{p}_{\mathrm{clip}} = PVM\mathbf{p}_{\mathrm{object}},

其中,MM、VV 和 PP 分别为模型矩阵、观察矩阵和投影矩阵。矩阵乘法通常不满足交换律,因此改变运算顺序就会改变结果。例如,物体绕自身中心旋转,与绕远处的世界坐标原点旋转,结果并不相同。层次变换系统利用了这一结构:手可以继承手臂的运动,而手臂又继承身体的运动。

透视投影使物体随着距离增大而显得更小。在简化的相机模型中,投影坐标分别与 x/zx/z 和 y/zy/z 成正比,具体取决于所采用的坐标轴约定。正交投影不采用这种随距离变化的缩放,适用于工程图、地图以及某些界面视图。这两种投影并不存在本质上谁更准确的问题;它们各自体现了空间几何与预期图像之间不同的对应关系。

当曲面、运动和光照连续变化时,微积分和数值分析就成为不可或缺的工具。导数用于描述切线、表面朝向和变化率,积分则用于表达累积光照或体积效应。旋转常用四元数表示,这种表示方式能够紧凑地存储朝向,并支持实用的插值方法。数值精度始终是实际应用中的制约因素:过大的坐标值可能使相邻点难以区分,接近奇异的变换可能放大误差,而在非均匀缩放下变换法线时,需要使用相应线性变换的逆转置矩阵,而不是用于变换点的矩阵。

几何表示与建模

图形系统必须选择如何表示物体的形状。最常见的通用表示方式是多边形网格,它由顶点及连接顶点的边和面组成。三角形尤其有用,因为三个不共线的点就能确定一个平面,而且专用硬件能够高效处理三角形。网格还会存储或引用纹理坐标、表面法线、材质分配和形变权重等属性。网格的视觉质量不仅取决于多边形数量,也取决于其结构和属性。

连接关系包含了仅靠位置无法提供的信息。相邻三角形可以共享顶点和边,使算法能够遍历表面、估算曲率,或平滑选定区域。流形表面在局部具有规整的邻域,其形态类似于圆盘,在边界处则类似于半圆盘。非流形边、自相交以及不一致的面朝向,在显示时可能并无大碍,但在仿真、制造或体积计算中却可能造成问题。因此,适合电影镜头的模型不一定适合工程分析。

光滑形状可以用参数形式表示。贝塞尔曲线通过控制点定义多项式曲线,而非均匀有理 B 样条则支持更一般的分段有理曲线和曲面,包括对一些重要圆锥曲线形状的精确表示。这类表示方式在工业设计中占据核心地位,因为设计人员无需逐一操纵最终的每个多边形,就能控制形状的光滑性和连续性。渲染时通常通过曲面细分将这些曲面转换为三角形,并在曲率或投影尺寸有需要的部位进行更精细的划分。

细分曲面在多边形建模与光滑曲面设计之间架起了桥梁。对粗略的控制网格反复细化,会逐渐逼近一个极限曲面,使艺术家既能操纵复杂度适中的结构,又能获得光滑的输出结果。1978 年提出的 Catmull–Clark 细分是这种方法中广为人知的一种。与仅仅平滑顶点法线不同,细分会改变底层的几何曲面。通过折痕规则或精心布置的控制几何,可以保留尖锐特征。

其他表示方式则适用于不同的任务。构造实体几何通过对较简单的实体执行并、交、差等运算来构建物体。隐式曲面将形状定义为函数的等值集,而有符号距离函数则记录到边界的距离,并用正负号区分内部和外部。体素将空间划分为具有体积的单元,适用于扫描数据、材料场和某些仿真方法。点云存储采样位置,但不一定指定点之间的连接关系;摄影测量和深度感知经常产生这类数据。这些替代表示方式在紧凑性、可编辑性、拓扑灵活性和渲染效率之间各有取舍,而非构成单一的质量等级体系。

二维图形、文字排印与合成

二维图形使用采样得到的像素或几何绘图指令来描述图像。光栅图像在像素网格上存储数值,而矢量图形则描述路径、曲线、填充和描边等对象。光栅照片的采样分辨率固定;矢量标志则可以按多种分辨率渲染,无须先放大一个固定的像素阵列。不过,矢量内容在常规屏幕上显示时仍会被采样,因此其视觉质量依然取决于光栅化和滤波。

路径为绘图提供了一种紧凑的描述语言。线段和多项式曲线构成轮廓,再依据非零环绕规则或奇偶规则等确定填充区域。描边还涉及其他选择:宽度、端点样式、连接样式和虚线模式。这些选择具有重要的几何意义。若不对连接方式加以限制,急转角处的宽描边可能产生尖刺;而数学上精确的极细线条若落在显示采样点之间,其显示效果可能不稳定。

文字排印是一类专门的图形问题,既涉及几何,也涉及语言。字体通常使用曲线描述字形轮廓,但文本渲染还需要进行字形整形:选择字形、定位组合附加符号、应用连字,以及处理随上下文变化的字形。Unicode统一码标识字符及相关文本属性,但本身并不规定最终的字形排列。在字号较小时,字符的笔画仅占几个像素,字体微调和精细采样可以保持文字的可辨识性。亚像素技术可以利用显示器上彩色子像素的物理排列方式,但在旋转、缩放或图像复用时,这些技术所依赖的假设可能不再成立。

分层图像通过阿尔法合成组合在一起。阿尔法值通常表示特定模型下的不透明度或覆盖比例,而不是一个可赋予任意含义的额外颜色通道。采用预乘颜色时,将前景叠加到背景上可得

cout=cf+(1−αf)cb,\mathbf{c}_{\mathrm{out}} = \mathbf{c}_{f} + (1-\alpha_f)\mathbf{c}_{b},

以及

αout=αf+(1−αf)αb.\alpha_{\mathrm{out}} = \alpha_f+(1-\alpha_f)\alpha_b.

这些方程中的颜色值已经乘以各自对应的阿尔法值。混淆预乘与非预乘表示方式,可能导致半透明边缘周围出现暗边或亮边。

合成并不限于简单的图层叠加。蒙版在空间上限定操作范围;剪裁路径将绘制限制在特定几何区域内;混合模式通过组合颜色产生插画或摄影效果。图像格式还带来其他约束:便携式网络图形支持光栅图像的无损存储和透明度,而JPEG图像编码标准通常用于对照片图像进行有损压缩。即使界面、出版物、地图和技术插图中包含由三维场景渲染而成的图像,二维图形仍然是这些领域的基础。

光栅化、可见性与渲染管线

光栅化将投影后的几何图元转换为对离散图像的贡献。传统的三维渲染管线从几何数据及其属性出发,将顶点变换到与相机相关的坐标系中,依据视景体裁剪图元,并确定图元覆盖了哪些图像采样点。对于每个被覆盖的区域,系统都会生成携带插值信息的片元。片元是某个图像位置的候选贡献,并不一定是最终可见的像素。

在透视除法和光栅化之前必须进行裁剪,因为图元可能穿过相机平面,或延伸到可见区域之外。在物体和材质允许的情况下,背面剔除可以舍弃背向观察者的表面。其他剔除方式则在更大的尺度上发挥作用:视景体之外的物体不必提交给渲染管线,而被其他几何体遮挡的物体则可以通过遮挡测试予以排除。这些操作能够减少计算量,但若要避免误删可见内容,就必须采取保守策略。

深度缓冲,也称 Z 缓冲,通过为每个采样点存储一个深度值,在局部解决可见性问题。当一个片元到来时,系统会将其深度与已存储的深度值进行比较;通过测试的片元可以同时更新深度和颜色。这样就能在不对所有不透明三角形进行从前到后全局排序的情况下处理它们。然而,有限的深度精度可能使几乎重合的表面交替显现,产生深度冲突(Z-fighting)。透视投影会使传统深度表示的精度分布不均,因此近裁剪面的位置和深度表示方式在实践中都有显著影响。

表面属性通过插值分布到三角形各处。对于定义在经透视投影的表面上的量,直接在屏幕空间中进行线性插值通常并不正确。透视校正插值会考虑齐次深度,避免多边形上的纹理图案出现不应有的弯曲或游移。法向量也需要谨慎处理:插值后的法向量通常要在光照计算之前重新归一化。区分几何法线与着色法线,可以在不改变轮廓的情况下,使粗糙的网格呈现出平滑曲面的外观。

透明性使原本只需局部处理的深度缓冲方案变得复杂。标准的 Alpha 混合依赖处理顺序,因此透明表面往往需要排序,或采用专门的顺序无关近似方法。延迟着色先将表面属性存入中间缓冲区,之后再计算光照;前向着色则在处理可见几何体的同时计算光照。聚簇式和分块式方法按屏幕区域或空间区域组织光源,以减少不必要的计算。这些方法属于架构上的选择,而非相互排斥的渲染理念:同一个应用可以对不透明表面、透明物体、粒子和反射采用不同的方法。

光传输与基于物理的渲染

图像合成可以视为计算光与场景相互作用后如何到达相机的过程。在几何光学中,光被近似为光线,在相邻两次相互作用之间沿直线传播。当相关结构的尺度远大于光的波长时,这种近似很有效,但它本身并不能体现衍射或干涉。渲染器还需要选择是以光谱还是以有限的颜色通道来表示光,以及是否可以忽略随时间变化的效应。

一种标准的表述是渲染方程:

Lo(x,ωo)=Le(x,ωo)+∫Ω+fr(x,ωi,ωo)Li(x,ωi)(n⋅ωi) dωi.L_o(\mathbf{x},\omega_o) = L_e(\mathbf{x},\omega_o) + \int_{\Omega^+} f_r(\mathbf{x},\omega_i,\omega_o) L_i(\mathbf{x},\omega_i) (\mathbf{n}\cdot\omega_i)\,d\omega_i.

其中,出射辐亮度 LoL_o 等于自发射辐亮度 LeL_e,加上反射的入射辐亮度在表面入射半球上的积分。函数 frf_r 描述反射的方向特性,余弦因子则用于计入投影面积的影响。由于入射光照取决于其他表面,这个方程将整个场景耦合在一起。

光线追踪用于求取光线与几何物体的交点。相机光线确定哪些表面可见;阴影光线检测通往光源的路径是否被遮挡;后续光线则可以继续追踪反射或透射。让每条光线都与每个图元进行相交测试,通常代价过高。空间加速结构,尤其是包围体层次结构,将几何对象组织在层层嵌套的包围体中,从而能够一次排除大量图元。对于包含运动物体的场景,这些结构的构建质量和更新开销尤为重要。

路径追踪通过对一系列散射事件进行采样来估计光传输。它并不在每个表面上计算所有可能的方向,而是选取有限数量的方向,并对其加权贡献求平均。蒙特卡洛方法使这种做法在高维积分中切实可行,但有限采样会产生噪声。在标准的独立采样假设下,误差按样本数平方根的倒数成比例减小;因此,要使误差大致减半,就需要约四倍的样本。重要性采样将计算资源集中于可能产生较大贡献的部分,而多重重要性采样则将互补的采样策略结合起来。

不同的光传输算法在处理难以采样的路径时,效率各不相同。体积小而明亮的光源、光泽反射、焦散,以及穿过多个界面的光照,都可能给基本的路径追踪带来挑战。参与介质使散射和吸收不仅发生在表面,也发生在空间内部,从而产生雾、烟和水下效果。基于物理的渲染并不意味着精确模拟:实际系统仍然会简化几何形状、材质结构、波长依赖性和光路。它的核心特征是图像计算与物理模型之间具有一致的联系,因此,当光照或观察条件发生变化时,结果也更容易预测。

材质、着色与表面细节

材质模型规定表面如何与光相互作用,而着色则是在可见位置应用材质模型和光照模型的计算过程。这两个概念相互关联,但并不相同。材质可以定义反射率、粗糙度、透明度和内部散射;着色则计算这些属性在特定光源和观察方向下产生的效果。早期的经验模型往往将漫反射项与镜面反射项组合起来,以便于调控;基于物理的模型则对能量守恒和方向特性施加更严格的约束。

双向反射分布函数,简称 BRDF,描述了表面入射光照与出射反射辐亮度之间的关系。常见的微表面模型将粗糙表面视为大量微小反射面元构成的统计集合。典型的镜面反射项结合了面元法线分布、菲涅耳反射率,以及描述面元间遮蔽与阴影效应的因子。粗糙度控制的是面元朝向的分散程度,而不是简单地对已经生成的图像施加模糊。导体和电介质需要采用不同的反射特性;金属表面的反射通常随波长而变化,其表现并不像在漫反射涂料上叠加一个白色高光。

纹理映射通过图像或程序函数提供随空间位置变化的属性。网格通常存储二维纹理坐标,用于将表面上的点对应到图像中的位置。同样的机制也可以提供基础色、粗糙度、不透明度、自发光或其他参数。将曲面切开并展开为平面参数域时,切口处会出现接缝;参数化不均匀则可能使纹理分辨率集中于某些区域,而在其他区域被拉伸。程序纹理可以避开部分存储限制,但仍然需要滤波,而且往往依赖于精心选择的坐标空间。

法线映射改变着色所使用的方向,而不改变底层表面的边界。凹凸映射则从高度场中推导出类似的扰动。与之不同,置换映射会移动几何表面,因此在几何细节足够丰富时,可以改变轮廓、阴影以及物体间的相交情况。这些技术不能相互替代。仅用法线贴图表现的砖墙可以呈现逼真的局部高光,但在以掠射角观察,或有其他物体与其接触时,其几何形状仍然是平的。

许多材质所需模拟的不只是表面反射。皮肤、蜡和大理石会表现出次表面散射,即光从一个位置进入材质,再从另一个位置射出。玻璃需要模拟透射与折射;薄膜能够产生随波长变化的干涉色;毛发和织物具有方向性结构,会显著影响外观。材质制作还会将物理参数与艺术调控手段区分开来。影视等制作项目可能有意调整粗糙度、阴影或反射率,以保持视觉上的清晰可辨;而工程可视化则可能优先考虑与实测光学性质的一致性。应当采用何种模型,取决于图像需要传达哪些差异。

采样、抗混叠与色彩

图像是对随空间和时间变化的信号进行采样所得的表示。理想情况下,一个像素应表示有限区域内经过滤波的综合贡献,而不是穿过其中心的一条无穷细射线所对应的值。采样不足会产生混叠:高频细节表现为虚假的低频图案、锯齿状边缘、闪烁或不稳定的运动。细小的几何结构、重复纹理、锐利的高光和快速运动的物体都是常见的混叠来源。提高分辨率有所帮助,但现有样本能多有效地表现图像,取决于滤波方法和采样策略。

抗混叠方法分别针对这一问题的不同环节。超采样计算更多的图像样本,并通过重建滤波器将其合并。多重采样抗混叠改善几何边缘覆盖率的估计,而不一定需要重复每一次着色计算。纹理滤波对投影到一个图像样本上的表面区域进行积分;多级渐远纹理提供经过预滤波、分辨率逐级降低的纹理版本。各向异性滤波可以改善纹理投影覆盖区域呈狭长形状时的效果,例如向地平线远处延伸的道路。仅仅选择一个更清晰的纹理层级,虽然能增加静止图像的细节,却可能在运动时造成严重闪烁。

时间采样还带来了其他权衡。运动模糊近似模拟光线在快门开启时段内的积分,而时间抗混叠则结合不同帧的信息。复用先前帧可以减少噪声、稳定边缘,但前提是系统正确考虑运动和可见性的变化。新显露的表面没有有效的历史信息,运动中的透明效果也可能不存在单一可靠的运动矢量。过度依赖历史信息会产生重影,或使精细细节变得模糊。光线追踪图像的时域重建与降噪也会遇到类似问题。

颜色值必须在明确定义的色彩空间和传递函数下解读。如果没有指定原色、白点和编码约定,一组 RGB 三元值就无法确定唯一的物理颜色。许多常见的图像编码是非线性的,而具有物理意义的加法与混合运算通常要求使用线性光值。直接对采用非线性显示编码的数值进行光照计算,可能使混合结果变暗,并扭曲能量关系。色彩管理在工作、存储和显示色彩空间之间转换数值,使图像在不同设备和制作阶段保持一致。

高动态范围成像所表示的亮度范围,比许多传统显示器所能重现的范围更宽。色调映射将以场景为参照的数值转换到可显示的范围内,同时兼顾对比度和高光细节。这不仅仅是数值缩放:局部适应、观看条件和艺术意图都会影响期望的结果。光谱渲染则体现了另一种区别:与三通道渲染相比,它更明确地表示随波长变化的行为。这有助于改善色散和复杂颜色相互作用等效果,不过最终图像仍须映射到显示器能够呈现的范围内。

动画、变形与物理模拟

动画描述场景如何随时间变化。变化的量可以包括物体的变换、关节姿态、表面几何形状、材质参数、灯光或相机设置。关键帧动画在选定的时刻存储选定的数值,并在这些数值之间进行插值。线性插值虽然简单,却可能导致速度突变;基于样条的插值则能产生更平滑的运动,并更精确地控制运动节奏。同一条几何路径,随着加速度、停顿和关键帧间隔的不同,也能表现出不同的动作。

角色动画通常采用带关节的骨架。绑定系统提供一组控制器,将动画师的操作关联到关节、变形器、面部形状及其他内部参数。骨骼动画将网格顶点与一根或多根骨骼关联起来,使关节运动能够带动可见表面变形。线性混合蒙皮效率很高,但可能造成体积损失和扭曲伪影。其他变形方案和矫正形状可以弥补这些不足。逆向运动学通过求解关节配置,使手或脚等末端执行器接近期望位置;由于多种姿态都可能满足同一个目标,因此还需要额外的约束或偏好条件。

动作捕捉利用标记点、摄像机、惯性传感器或这些设备的组合,记录表演者运动的各个方面。捕捉到的动作并不一定能直接适用于另一个数字角色。动作重定向必须考虑肢体长度、关节活动范围和身体比例的差异,而数据清理则用于去除噪声并处理观测缺失。面部动画可以将捕捉到的表情与艺术家制作的形状相结合。程序化动画通过规则生成运动,例如根据地形调整落脚位置的行走系统,或无须逐一设置关键帧便能控制大量个体的群体模型。

物理模拟通过近似求解动力学规律来生成运动。基本的粒子模型遵循

md2xdt2=f,m\frac{d^2\mathbf{x}}{dt^2}=\mathbf{f},

其中的力可以包括重力、弹性力、阻力和接触响应力。布料、可变形固体、流体和刚体需要采用不同的离散化方法与约束。显式时间积分通常较为直接,但如果时间步长不够小,就可能变得不稳定。隐式方法能更好地应对刚性力,但需要求解更复杂的系统。碰撞检测与接触处理是主要的计算开销,因为必须防止物体不合常理地相互穿透。

图形学中的模拟往往需要在物理真实性、可控性与制作需求之间取得平衡。例如,可以调整流体求解器,以保持所需的轮廓;角色服装也可能需要特殊处理,以避免出现干扰视觉效果的穿插。在修改场景或使用多台机器渲染时,确定性、可复现性和缓存都很重要。动画状态与渲染过程也彼此独立:模拟可以只计算一次,再用不同的光照反复渲染;而运动模糊则可能要求在每帧的曝光时间内,对多个时刻的几何形状进行求值。

图形硬件与编程接口

图形硬件的架构旨在并行处理大量相似任务。图形处理器通常会运行大量轻量级线程,处理顶点、片元、光线或通用数据元素。这与在中央处理器上针对单一的复杂操作序列进行优化有所不同。两者的区别并非绝对,但规律性强的计算、高内存带宽,以及让大量独立操作同时处于执行过程中的能力,都能显著提升图形工作负载的处理效率。

着色器是图形计算中使用的程序,通常用于变换几何体、计算表面外观或处理图像数据。早期加速器提供的操作相对固定;可编程阶段则允许开发者用自定义计算替代其中的许多操作。根据硬件和接口的不同,现代系统可以包含顶点、片元、计算、曲面细分、几何、网格以及与光线追踪相关的阶段。尽管名为着色器,其用途并不限于计算明暗:它们还可以执行剔除、粒子更新、形变或数据变换。

内存访问特性往往与算术运算吞吐量同样重要。相邻线程访问相邻数据时,可以高效利用内存事务,而分散的访问则会浪费带宽。如果分支使相邻执行通道走上不同路径,就可能降低硬件利用率。纹理、几何缓冲区、加速结构和中间图像会争用存储空间与缓存容量。即便场景的多边形数量不多,如果使用了大量大型纹理、过多的透明效果,或材质切换安排不当,处理开销仍可能很高。

应用程序编程接口在应用软件与图形系统之间起中介作用。OpenGL、Vulkan和Direct3D代表了不同代际、以不同方式提供图形功能的接口。更显式的接口要求应用程序承担更多内存管理、同步和调度责任。这可以减少开销,使性能更可预测,但也增加了实现的复杂性。基于浏览器的图形又增加了一层约束:WebGL和WebGPU在浏览器可移植性与安全模型的约束下提供图形功能。

实时性能取决于总帧延迟,而不仅仅是某个渲染阶段的速度。在每秒60帧时,帧间隔约为16.7毫秒;在每秒120帧时,则约为8.3毫秒。模拟、命令准备、渲染、同步和呈现都需要占用这段时间预算。因此,性能分析需要检查整条流水线中的瓶颈。包括CUDA在内的通用GPU编程与图形处理共享硬件基础,但采用不同的执行抽象。专用的光线求交硬件可以加速某些操作,却无法消除材质求值、内存访问、场景构建或光传输采样的开销。

科学可视化与技术应用

当图像旨在揭示测量数据或模拟数据的结构时,图形技术就成为科学可视化的手段。其基础信息可能是温度这样的标量场、流体速度这样的矢量场,也可能是一组几何关系和统计关系。与主要追求外观效果的插图不同,可视化必须确保所采用的数据变换不损害数据的含义。插值方式、尺度、视角和颜色的选择,既可能揭示有价值的模式,也可能将其掩盖。

表面提取将体数据测量结果转换为几何边界。威廉·洛伦森和哈维·克莱恩于1987年发表的移动立方体算法,通过检查网格单元各顶点的数值,构建等值面的三角形近似。当某个有实际意义的阈值能够界定一种结构时,这种方法很有用,但阈值的选择可能显著影响最终形状。直接体绘制则不先提取单一边界,而是沿三维场累积各处的贡献。传递函数将数据值映射为颜色和不透明度,从而使选定的数值范围可见,同时抑制其他范围的显示。

医学成像是一个重要应用领域。磁共振成像及其他成像方式获取的数据,可以显示为切片、表面或体图像。这些视图有助于观察空间关系,但渲染图像取决于采集分辨率、分割、插值和显示设置。表面看起来平滑,并不意味着原始测量能够分辨所有可见细节。对于技术和临床系统,保留坐标约定、尺度和数据来源,与生成视觉上清晰的图像同样重要。

在工程领域,图形技术贯穿设计与分析的全过程。计算机辅助设计系统用于表示制造零件及其装配体,而仿真工具则用于显示应力、变形、流动和传热。地理应用通过地理信息系统整合地形、影像和空间属性。大尺度空间会带来坐标精度、地图投影畸变,以及按需流式加载不同分辨率地形等挑战。在科学应用中,当数据集超出可用内存容量时,同样可能需要采用外存处理。

数据可视化还涵盖没有天然三维形态的抽象量。图、统计图表和示意图利用位置、长度、面积、颜色和连接关系来编码信息。增加第三个维度有助于呈现真正具有空间性质的数据,但也可能给原本简单的比较引入遮挡和透视畸变。不确定性需要得到明确关注:集合数据、置信区间、概率场和缺失数据,不应在没有说明的情况下被转换成单一且看似精确的表面。为了保证可复现性,除了记录源数据,还可能需要记录生成特定视图时所用的相机参数、滤波器、传递函数和交互式选择。

交互、虚拟环境与增强现实

交互式图形在用户输入、场景状态和视觉输出之间形成反馈闭环。用户移动指针、修改参数或转动头部,应用程序随即更新模型并显示相应结果。这一闭环的质量取决于延迟、稳定性,以及用户操作与可见效果之间的对应关系。即使图像在技术层面上十分精细,如果对象选择不可靠或显示响应过慢,系统仍可能难以使用。

拾取用于确定输入位置所对应的对象或场景元素。系统可以让一条射线穿过给定的屏幕坐标,查询加速结构,或将对象标识符渲染到隐藏的缓冲区中。随后的操控则将输入转化为具有明确意义的约束:拖动可以使对象在平面内移动、绕轴旋转,或调整曲面上某一点的位置。这些操作并非仅靠渲染就能完成,因为系统必须让二维输入设备能够控制三维状态,同时避免对操作意图产生歧义。

虚拟现实呈现一个能响应所跟踪的用户运动的环境,通常通过头戴式显示器实现。分别为双眼提供的图像产生双眼视差,头部跟踪则用于更新视点。从运动发生到对应画面显示的延迟,包括传感、姿态估计、仿真、渲染和显示响应所需的时间。末阶段重投影可以利用较新的姿态更新已渲染的图像,无需完整地重新计算场景,就能减轻部分感知到的延迟。但它无法完美还原原始图像中未包含、因视点变化而新显露的表面。

增强现实将计算机生成的内容与物理环境的视图结合起来。要将虚拟内容放置在正确位置,就需要跟踪设备,并估计周围场景的相关信息。要使两者的融合令人信服,还需要考虑遮挡、尺度、光照和焦点线索。虚拟对象有时应当被真实对象遮挡,这就需要掌握现实环境的深度信息。光学透视系统和基于摄像头的系统面临不同的约束:前者直接将真实环境的光与显示器发出的光结合,后者则先处理摄像头图像,再显示合成结果。

沉浸式渲染引入了一些专门的效率优化技术。注视点渲染利用人眼不同视野区域视敏度不均匀的特点,在用户注视点附近分配更多细节,在周边区域分配较少细节。其效果取决于视线跟踪、区域间的过渡质量以及延迟。空间音频、触觉反馈和实体控制器将体验扩展到图像之外,而无障碍设计方面的考量则影响文字大小、对比度、操控方案和运动的呈现方式。协作环境还带来了网络延迟和一致性问题:即使更新在不同时间到达,各参与者感知到的场景状态也必须足够一致。

重建、神经渲染与生成方法

传统图形学通常假定场景描述已经存在,而重建则是根据观测数据估计几何形状、外观、运动或光照。这项任务可以使用照片、深度图、视频,或多种传感器的组合。对场景的多种不同解释可能产生相似的图像,因此重建通常是一个不适定问题。例如,暗区可能源于深色材质、光照不足、阴影,或表面朝向的变化。增加观测视角、进行标定、引入物理约束和先验假设,有助于区分这些可能性。

可微渲染将图像形成过程与数学优化联系起来。如果渲染器能够提供图像数值相对于场景参数的有效导数,优化器就可以调整这些参数,以减小基于图像的误差。这种方法可用于估计形状、相机位姿、材质或光照。可见性的不连续性是一大难点,因为几何形状的微小变化就可能使某个表面突然显露或被遮挡。因此,实际方法会采用专门的导数估计方法、近似处理,或更平滑的替代表述。

神经辐射场在2020年以一种影响广泛的形式提出,通过学习得到的函数来表示场景;该函数根据空间位置和观察方向,预测密度以及随视角变化的发射颜色。合成图像时,沿相机射线对这一表示进行采样,并对各采样点的贡献积分。这种方法展现了从一组经过标定的照片中合成新视角图像的强大能力,但其表示并不会自动成为显式、可编辑的表面。训练数据的覆盖范围、相机参数估计、动态内容以及难以建模的反射特性,都会影响重建质量。

三维高斯泼溅于2023年以一种颇具影响力的实时辐射场方法提出,使用大量空间高斯基元表示场景,并通过各基元的属性控制外观和不透明度。经过优化后,通过投影并混合这些基元,可以快速渲染新视角。与需要多次查询网络才能求值的神经场相比,这种方法在内存占用、训练特性、渲染速度和结构显式程度之间提供了不同的权衡。两种方法都不能保证隐藏部分的几何形状准确,也不能保证在远超构建场景所用观测范围的视角下,仍能得到可靠的图像。

机器学习也可用于去噪、图像重建、动画制作、材质估计和内容生成。包括扩散模型在内的生成式人工智能能够合成图像,或辅助创建纹理和三维资产。然而,看似合理的图像并不一定对应一致的场景模型:不同视图中物体的形状可能相互矛盾,而视觉上的逼真也不能证明几何或物理上的准确。因此,评估标准取决于具体任务。影视制作可能更重视可控性和时间一致性,而测量应用则要求经过标定的准确度、不确定性表征,以及对观测结构与推断结构的明确区分。

制作系统、可扩展性与评估

完整的图形应用是一个各部分协同运作的系统,而不是孤立的渲染算法。制作流程将建模、材质、绑定、动画、模拟、光照、渲染与合成串联起来。每个阶段都会生成供后续阶段使用的资产或衍生数据。场景组织必须保留对象标识、层级结构、计量单位、坐标约定和依赖关系,使变更的影响能够以可预测的方式传递。例如,修改角色模型可能会影响变形、碰撞几何体、纹理坐标以及先前缓存的模拟结果。

大型场景需要有选择地采用不同的表示方式。当表示上的差异不太可能影响最终图像时,细节层次方法会用计算开销更低的方案替代精细的几何体或着色。远处的建筑可以使用简化网格,而森林则可以结合树木实例、替身图像和程序化布置来呈现。流式加载按需载入资源,而不是让整个环境始终驻留在内存中。这些方法必须考虑不同表示之间的过渡:即使底层对象很小,轮廓、着色或密度的突变仍可能清晰可见。

离线渲染通常利用分布式计算,将不同帧或图像区域分配给多台机器处理。这会带来调度、存储和可复现性问题。渲染任务必须获得正确版本的资产、渲染器配置和随机种子,同时,任务失败不能使已经完成的工作失效。交互式系统则面临另一种约束:在视角和内容不断变化时,性能仍应保持稳定。仅看平均帧率,可能会掩盖编译、资源上传、同步或某些意外耗时的视图所造成的间歇性卡顿。

质量评估需要结合客观测量与感知判断。在有可靠参考图像时,逐像素差异很有用,但这种方法可能会对视觉上无关紧要的偏移作出负面评价,也可能无法反映重要的结构性错误。时间稳定性、轮廓准确性、材质一致性以及任务完成效果,可能比单帧误差分数更重要。性能比较也需要可比的条件:分辨率、采样数、场景复杂度、硬件、重建设置和图像质量目标,都可能改变比较所呈现的结果。在某一质量水平下更快的渲染器,换到另一质量水平时可能反而更慢。

图形制作还涉及知识产权、来源追溯和资源使用。资产可能包含经许可使用的几何模型、纹理、表演或采集的环境数据,因此,所有权和允许的再利用范围也是实际制作中需要处理的问题。用于文档或科学传播的图像,需要能够追溯到其底层数据及所经历的变换。计算成本不仅取决于硬件功耗,还取决于渲染时长、失败的作业、资产的重复存储以及所需的迭代次数。这些约束会影响实际制作中对场景复杂度、模拟保真度、采样,以及美术人员、自动化工具与计算基础设施之间工作分配的选择。