着色器是在可编程渲染系统或图形计算系统中执行的程序。着色器决定几何数据如何变换、表面如何与光相互作用,以及如何生成图像采样;在现代系统中,它还决定多种并行计算如何执行。着色器通常在图形处理器(GPU)上运行,但软件渲染器和离线渲染系统也可以在其他处理器上执行着色器。这个名称源于对表面外观的计算,但如今的着色器还可用于操纵几何体、追踪光线、模拟物理系统,以及在不生成图像的情况下处理数据。
着色器在计算机图形学中占据核心地位,因为它将视觉行为的描述与渲染设备的固定功能分离开来。渲染应用程序提供程序、资源和命令,图形系统的具体实现则针对大量顶点、片元、光线或工作项执行这些程序。结果不仅取决于着色器代码,还取决于其所处的处理管线、数值表示方式、资源绑定和同步规则。
“着色器”描述的是一种功能角色,而非某种特定的语言或文件格式。为三角形着色的简短片元着色器、描述分层玻璃的离线材质程序,以及对照片进行滤波的计算着色器,都可以称为着色器,尽管它们的输入、执行模型和输出存在显著差异。
历史发展与向可编程图形的转变
早期的交互式图形硬件主要通过固定功能电路完成渲染。应用程序可以选择预定义的操作、提供变换矩阵和光照参数,以及配置纹理组合模式,却无法自由替换底层计算。因此,表面外观受限于硬件所实现的操作。软件渲染虽然更加灵活,但计算开销往往也高得多。
在成为消费级图形硬件的标准功能之前,可编程着色就已在电影制作和研究领域取得显著发展。罗伯特·L. 库克于 1984 年发表的论文《着色树》(Shade Trees)提出了一种以组合方式构建着色计算的方法。皮克斯于 1988 年推出的 RenderMan 接口规范,推动确立了一种可编程模型,由专门的程序描述表面、光源、位移和大气效果。这类程序能够计算程序化图案和材质响应,而不必将每一种外观都表示为预先存储的图像。它们的执行环境是离线渲染器,不一定是 GPU。
在二十一世纪之交,消费级图形硬件逐步具备了可编程能力。微软于 2000 年发布的 DirectX 8 提供了可编程顶点着色器和像素着色器模型。NVIDIA 于 2001 年推出的 GeForce 3 是这一代技术中颇具影响力的实现。早期在硬件上运行的程序,在指令数量、临时寄存器、纹理访问和控制流方面都受到严格限制。顶点处理器和像素处理器的能力也不相同,因此,一个阶段能够执行的计算,在另一个阶段未必可行。
随后,更高级的编程语言降低了对硬件专用汇编语言的依赖。NVIDIA 于 2002 年推出 Cg,微软同年发布的 DirectX 9 则包含了高级着色语言(High-Level Shader Language,HLSL)。OpenGL 2.0 于 2004 年纳入了 OpenGL 着色语言(OpenGL Shading Language,GLSL)。这些发展使程序员能够以更接近常规应用程序代码的形式,表达算术运算、函数以及日益复杂的控制流,再由编译器将程序转换为适用于目标图形系统的形式。
硬件组织方式也随着语言的发展而变化。较早的 GPU 通常将资源划分给专用的顶点处理器和像素处理器。统一着色器架构则让不同的着色器阶段广泛共享执行资源,使硬件能够根据工作负载分配处理能力。在 Direct3D 10 时代,桌面 GPU 于 2006—2007 年间使这种架构得到广泛应用。“统一”并不意味着逻辑阶段被取消:即使同一组算术单元能够执行顶点着色器和片元着色器,两者仍保留各自不同的接口。
后续扩展将可编程能力拓展到了表面着色之外。几何处理、曲面细分、计算工作负载、网格生成,以及硬件辅助的光线追踪,都获得了可编程接口。因此,这一历史演进既包括现有阶段内部自由度的提升,也包括引入职责截然不同的新阶段。
光栅化流水线中的着色器阶段
图形流水线通过一系列操作,将场景描述转换为图像数据。在光栅化流水线中,三角形等几何图元被投影到成像平面上,并转换为其覆盖的采样点。有些操作是可编程的,另一些则仍由固定功能单元执行,或只能进行配置。着色器的定义部分取决于它在流水线中的位置:所在阶段决定了它接收哪些数据、可以写入哪些内容,以及它的各次调用与底层几何数据之间的关系。
顶点着色器处理位置、表面法线、颜色和纹理坐标等顶点属性。一项常见任务是将物体空间中的位置变换为齐次裁剪坐标:
其中,、 和 分别为模型变换、视图变换和投影变换。这些变换通常用矩阵表示。顶点着色器还会执行骨骼变形、变形目标混合以及其他逐顶点计算。其输出包括后续可在图元内部进行插值的数据。一次调用是一次逻辑上的处理事件,并不意味着每个提交的顶点都一定会被独立地重新计算:具体实现可以复用符合条件的结果。
一些可选阶段用于修改或生成几何数据。曲面细分控制阶段和曲面细分求值阶段会细分面片,并在所得参数域上求出位置;Direct3D 将这两个阶段分别称为外壳阶段和域阶段。几何着色器接收一个图元,并可输出数量受限的一系列新图元。较新的网格着色器流水线则以协同工作的调用组来组织几何生成过程。它们可以将读取顶点数据、剔除不可见几何体和组装图元等任务结合起来,而不必遵循传统的顶点输入路径。
在裁剪、透视除法和视口变换之后,光栅化会确定采样点的覆盖情况。片元着色器(在 Direct3D 术语中称为像素着色器)计算与光栅化所得片元相关的数值。片元并不等同于最终的像素:多个图元可能在同一位置产生片元,而多重采样可能在一个像素内设置多个覆盖采样点。片元输入通常包括经过插值的纹理坐标和法线。输出通常包括一个或多个颜色值,也可以包含深度值。
插值规则至关重要。透视校正插值会考虑投影变换的影响,而平面插值则采用指定顶点的值。一些接口还提供不进行透视校正的插值方式,以及与采样点位置有关的控制选项。即使片元着色器的算术运算本身正确,错误的插值也可能使纹理看起来发生滑动或扭曲。
深度测试、模板测试、混合以及输出格式转换,决定了着色器输出是否影响附件,以及如何影响附件。这些操作并不简单地属于片元着色器的一部分。在条件允许时,具体实现可以提前执行某些测试,但着色器的副作用、深度写入和丢弃行为会限制这类优化。因此,仅凭着色器代码无法推断流水线可观察到的行为。
表面外观、光照与程序化材质
表面着色器利用几何信息、材质参数、光源信息,以及通常通过采样获取的图像数据,对外观模型进行求值。计算既可以简单到只返回一种恒定颜色,也可以复杂到描述多个散射层。一个有用的区分是:材质描述用于规定粗糙度、吸收等属性,而光照计算则用于估算这些属性如何与照明相互作用。渲染系统可以在同一个程序中完成这两项工作,也可以将其分散到多个渲染遍次中。
漫反射光照通常通过朗伯余弦定律引入。对于简单的平行光,相应的着色器表达式为
其中, 为漫反射率, 为表面单位法线, 为指向光源的单位方向向量, 表示逐分量相乘。因子 是朗伯反射函数的一部分。实际的光照接口有时会将归一化因子纳入其参数约定,因此,表面上相似的代码可能采用不同的数值尺度。
更一般的反射特性由双向反射分布函数(BRDF)描述。对于不自行发光的反射表面,出射辐亮度可用表面渲染方程表示:
着色器可以计算 BRDF 的值、近似求解这一积分,或向执行积分的渲染器提供所需参数。这些是不同的职责。仅有一个基于物理原理的材质函数,并不能实现准确的全局光照。
现代实时基于物理的渲染通常采用微表面模型来描述镜面反射。这类模型将表面描述为微小反射面元的统计分布,并结合了法线分布项、菲涅耳反射,以及几何遮蔽与阴影效应。金属度—粗糙度工作流向美术人员提供一组精简的参数,但这些参数的确切含义取决于渲染系统。粗糙度并非一种具有统一定义的物理量,也不存在一种必须用于所有微表面分布的映射方式。
纹理贴图和程序化函数用于提供空间上的变化。纹理映射所使用的贴图可以存储基础颜色、粗糙度、法线扰动或其他参数。法线映射会改变着色时使用的法线,但不一定改变几何轮廓;而在管线支持的情况下,置换会改变表面的实际位置。程序化噪声、坐标变换和数学图案可以生成木纹、云朵、地形或磨损效果,而无须显式存储每一处细节。
外观还取决于颜色的表示方式。光照运算通常在线性光值上进行;对于经过显示编码的颜色值,必须先进行适当解释才能使用。高动态范围光照可能超出显示设备能够呈现的范围,因此需要在后续进行显示映射。将非线性编码的颜色纹理当作线性数据处理,或重复应用显示转换,都会在不改变光照模型的情况下改变亮度和材质响应。
资源、内存与数据接口
着色器处理通过应用程序编程接口(API)提供的数据。资源包括图像、缓冲区、加速结构和小块参数。应用程序指定程序可以访问哪些资源,着色器则声明与之兼容的接口。与普通应用程序函数不同,着色器调用通常不能不受限制地访问宿主进程的地址空间。可用的内存操作取决于图形 API、着色阶段、硬件能力以及已启用的功能。
统一变量或常量数据保存许多调用共享的参数,例如变换矩阵、相机位置或光源数量。顶点输入提供与几何体相关联的属性。存储缓冲区支持较大的索引式数据结构,并可在允许的情况下进行写入。小型即时参数机制(例如 Vulkan 的推送常量)为传递频繁变化的值提供了另一种途径。这些类别描述的是访问和绑定约定,并不保证采用某一种特定的物理存储技术。
纹理将图像存储与专门的访问操作结合起来。采样可能涉及坐标寻址、滤波、格式转换和细节层次选择。采样器指定坐标重复或钳制、选择最近邻或线性滤波等行为。使用整数坐标读取图像与经过滤波的采样在概念上有所不同:前者请求某个特定的纹素,后者则对图像表示执行采样运算。
Mipmap 映射存储纹理的一系列逐级缩小的版本,以便在纹理占据的屏幕空间较小时减少走样,并改善访问局部性。片元着色器通常可以利用隐式坐标导数来估算合适的细节层次。这些导数通常根据按小像素组排列的相邻调用计算得出。在不具备此类隐式导数的阶段进行采样,通常需要其他机制,例如显式指定细节层次或梯度。滤波可以减少采样伪影,但无法重建已存储信号中不存在的细节。
资源布局是互操作性错误的主要来源之一。宿主写入的结构体必须具有着色器所预期的偏移量、对齐方式、步长和标量表示形式。例如,一个三分量向量并不意味着在所有布局约定下,下一个成员都紧接在三个紧密排列的标量之后。不同的 API 和着色器语言提供不同的布局规则,跨平台系统必须维持这些规则之间预期的对应关系。
写入会带来可见性和顺序问题。着色器对图像或缓冲区的写入,并不会在所有执行情形下自动对后续的每个使用者可见。应用程序可能需要使用管线屏障、资源状态转换或其他同步操作。在协作组内部,着色器级屏障可以协调参与其中的调用。因此,资源访问既涉及数据描述,也涉及内存模型:如果没有建立所需的操作顺序,仅有正确的地址和类型仍然不够。
并行执行与性能特征
着色器的执行是并行计算的一种形式,旨在同时提供大量相似的操作供硬件执行。渲染器可以为数百万个片元或顶点启动处理任务,而一次计算调度则会提供一个由工作项组成的网格。硬件将这些任务调度到各个执行单元上,通常还会将多次调用编成子组,常称为线程束(warp)或波前(wavefront)。子组的大小和具体行为取决于架构与编程接口;可移植代码不能假定所有平台都采用同一种子组宽度。
许多 GPU 采用单指令、多线程式的执行方式。相邻调用可以各自保存不同的值,同时执行共同的指令流。当普通分支使不同调用走向不同的执行路径时,硬件可能使用不同的活动通道掩码来执行各条路径。这种分歧可能降低有效吞吐量。不过,如果所有活动调用都走同一个分支,其开销可能很低;即使出现一定程度的分歧,跳过开销较大的工作仍可能带来收益。因此,仅凭分支数量难以衡量性能。
寄存器用量会影响一个处理单元上能够驻留多少工作。大量仍需保留的临时值可能减少可同时活动的调用数量,或导致寄存器溢出,将数据转存到其他存储空间。驻留的工作有助于隐藏指令和内存访问延迟,但最高占用率并不等于最快速度。如果程序执行的工作更少、资源利用更高效,或者避免了不必要的内存流量,那么即使驻留的组更少,也可能运行得更快。
内存访问行为同样重要。相邻调用访问布局恰当的邻近地址时,通常能够得到高效处理;而分散访问可能需要更多次内存事务。纹理缓存利用了采样工作负载中的局部性。在计算着色器中,通过共享内存复用数据可以减少对外部存储的重复访问,但加载共享数据以及协调对这些数据的使用也有成本。实际瓶颈可能是带宽、指令吞吐量、延迟、资源依赖关系或固定功能单元的处理能力,而不是某一种普遍适用的限制。
片元工作负载还会受到一些源程序中并未直接体现的因素影响。当多个表面为同一屏幕区域生成处理任务时,就会发生过度绘制。有些调用会作为辅助调用执行,以便相邻片元能够获得导数,尽管这些辅助调用本身并不贡献常规的最终输出。小三角形或细长三角形可能无法高效利用片元处理组。因此,减少可见像素的数量,不一定会使着色器的执行量按比例减少。
数值方面的选择也会影响性能与结果。有些设备能够高效执行低精度算术运算,而另一些设备对某些不同精度类别的运算采用相近的执行方式。浮点运算的重新结合、融合运算、非规格化数的处理方式以及近似数学指令,都可能导致不同实现之间出现差异。因此,性能分析依赖于对代表性工作负载的测量,以及 GPU 计时或性能剖析工具,而不是着色器源代码的长短。
语言、编译与可移植性
着色器语言既描述计算过程,也描述执行接口。开放图形库着色语言(GLSL)与 OpenGL 配套使用,在其他环境中也有相关变体。HLSL 起源于微软的 Direct3D 生态系统。Metal 着色语言服务于苹果的 Metal API。WebGL 使用 GLSL ES 的不同版本,而 WebGPU图形接口则将 WebGPU 着色语言 WGSL 定义为其标准着色器语言。这些语言都具备常见的算术运算和控制流结构,但在类型、资源声明、阶段标注和验证要求等方面有所不同。
编译通常涉及多种表示形式。源代码编译器可能先生成一个中间模块,随后再将其转换为特定设备的机器指令。由 Khronos Group 制定标准的 SPIR-V 是一种中间表示,主要用于 Vulkan。微软的 DirectX 中间语言 DXIL 在现代 Direct3D 工具链中发挥着类似作用。这两种格式都不应被误认为是通用的 GPU 指令集:最终的可执行指令取决于目标硬件和具体实现。
编译还包括接口检查。系统必须确认,着色器所声明的输入、输出、资源类型及能力与预定的管线兼容。在使用显式管线对象的系统中,着色器会与相关的固定功能配置相结合,形成可执行的管线状态。具体实现可以依据这些组合信息进行优化。特化常量及相关机制允许在后续编译步骤中将选定参数固定下来,而无须另行手写一份完全独立的源程序。
编译开销可能直接影响用户体验。一款游戏可能包含许多着色器变体,分别对应材质特性、渲染通道、画质设置和硬件能力的不同组合。如果生成所有组合,变体数量可能呈乘法式增长。有些变体会在开发或安装期间编译,另一些则在首次需要特定管线时生成。渲染过程中意外触发的编译可能导致单帧耗时骤增。管线缓存可以减少重复工作,但其复用和兼容性规则取决于具体实现。
可移植性涉及多个层面。转换语法并不会自动消除坐标约定、缓冲区布局、插值规则、受支持的纹理格式或数值行为之间的差异。例如,不同 API 的裁剪空间深度约定和图像坐标约定可能不同,也可能允许配置。将着色器从一种环境机械地转换到另一种环境后,它或许能够通过编译,却产生上下颠倒的图像、错误的深度或错位的数据。因此,交叉编译系统需要进行语义映射,而不仅仅是替换关键字。
更高层次的创作系统又增加了一个层面。基于节点的材质编辑器和领域专用语言会根据图结构或结构化描述生成着色器代码。它们可以统一管理各种约定,省去重复的底层工作,但并不能消除目标执行模型的约束。生成的程序仍然会占用寄存器、访问内存、依赖资源布局,并且必须遵守目标 API 的验证和同步规则。
计算着色器与非渲染工作负载
计算着色器通过图形或计算 API 运行,不受从顶点到片段的光栅化流程约束。应用程序派发一个由多个工作组构成的网格,每个工作组内包含按指定方式排列的局部调用。程序可以根据工作组标识和局部调用标识推导出索引,以确定各次调用要处理的元素。这种组织方式既支持各自独立的操作,也支持相邻调用之间的协作。
图像滤波可以说明这一模型。一次派发可以为每个输出像素分配一次调用,读取输入图像中相应像素的邻域,并写入滤波结果。如果图像尺寸不是工作组尺寸的整数倍,多出的调用可能会落在图像的有效范围之外,因此需要进行适当的边界处理。原地滤波尤其需要谨慎:如果算法要求读取原始图像,就必须防止某次调用意外读到已被另一次调用覆盖的值。
工作组局部存储支持分块算法。进行卷积时,工作组可以协作将一个图像块及其周围的边界区域载入共享内存,完成同步后,在多个输出值的计算中复用这些数据。类似技术也可用于矩阵运算、粒子模拟、直方图以及排序算法的部分步骤。着色器级屏障必须遵守着色语言关于参与调用和控制流的规则。如果只有工作组中不符合要求的一部分调用执行到某个屏障,程序就可能无效或产生未定义行为。
一次派发中所有工作组之间的协调受到更多限制。可移植程序通常不能假定所有工作组都同时驻留,也不能假定普通的工作组屏障能够同步整个网格。需要全局分阶段执行的算法通常会采用多次派发,并在各次派发之间通过 API 进行同步。原子操作可以协调对特定内存位置的访问,但一次原子递增操作本身并不能自动为周围涉及的所有数据提供完整的同步机制。它所保证的顺序和可见性取决于适用的内存模型。
计算着色器广泛用于图像处理、可见性判定、动画、粒子系统、光照准备和后期处理。它们还可以生成供后续渲染命令使用的数据,例如间接绘制参数或压缩后的可见对象列表。将中间数据保留在 GPU 上,可以避免一部分与中央处理器之间的数据传输,不过计算任务与图形任务之间的依赖关系仍需通过调度和同步来处理。
计算着色器与其他 GPU 内核之间的区别,主要在于接口和生态系统。CUDA 及其他计算系统提供各自的编程模型、库和设备功能。当计算与图形资源紧密结合,或必须通过特定的跨平台 API 执行时,计算着色器很有吸引力。但它们并非天然比专用计算框架性能更高;某项工作负载是否适合使用计算着色器,取决于其并行性、内存访问特征、受支持的操作以及传输成本。
光线追踪着色器与离线着色系统
光线追踪系统首先确定光线与场景中的哪些物体相交,再利用这些结果计算可见性或光传输。可编程光线追踪管线将各项职责划分到不同阶段,其阶段设置与光栅化管线不同。在 Direct3D Raytracing 和 Vulkan 光线追踪扩展等 API 中,光线生成着色器负责发起追踪。未命中着色器负责处理未找到任何被接受交点的光线,而与命中相关的着色器则处理候选交点或选定的交点。
最近命中着色器通常负责计算最近的被接受交点处的材质。任意命中着色器可以检查候选交点并将其排除,例如,当镂空纹理表明三角形的某一部分透明时。相交着色器可以为通过包围体表示的程序化几何体实现相交测试。可调用着色器则提供了另一种组织可编程逻辑的方式。这些接口不能与普通函数调用混为一谈:光线追踪的具体实现会按照 API 的规则管理遍历和调度。
加速结构能够减少几何相交测试的次数。包围体层次结构将物体组织在嵌套的包围体中,使光线能够排除场景中的大片区域。硬件加速可以协助完成遍历和三角形相交测试,而着色器仍负责材质行为、程序化相交逻辑以及光线生成策略。动态场景会带来额外开销,因为其加速结构可能需要构建、更新或替换。
并非所有光线追踪操作都需要专用的光线追踪管线。光线查询功能允许适用的着色器在其他阶段(例如计算着色器或片元着色器阶段)中请求并检查遍历结果。这为混合渲染器提供了支持:光栅化可以确定主视线下表面的可见性,而选定的光线则用于估算阴影、反射或环境光遮蔽。如何分配这些工作取决于具体实现,并不要求所有渲染都采用同一种方法。
在路径追踪中,着色器通常参与反复采样散射方向,并更新路径的贡献。渲染器必须考虑采样概率、自发光、可见性,以及大量含噪估计值的累积。材质程序可以返回闭包或对散射行为的结构化描述,而不是立即计算最终颜色。这样,渲染系统就能自行选择如何对材质进行采样和积分。
因此,与许多实时片元程序相比,离线着色语言侧重于不同的抽象方式。由索尼影视图像运作公司开发的开放着色语言(OSL)支持面向渲染器的材质描述和散射闭包。闭包描述一种光散射行为,由渲染器对其求值和采样。这将艺术创作中的材质构建与光传输算法的部分环节分离开来,不过,支持的功能和执行后端仍取决于渲染器。
生产工作流程、正确性与安全性
在生产环境的软件中,着色器是更大规模渲染系统的组成部分。美术人员和技术指导可能通过节点图构建材质;引擎程序员定义光照模型和资源使用约定;工具则生成各种变体并编译管线对象。同一种可见材质可能需要不同的程序,分别用于深度渲染、阴影贴图、运动矢量、透明渲染和主光照遍。这些渲染遍之间的一致性至关重要:如果一个发生形变的物体在阴影遍中没有应用相同的形变,那么即使各个着色器都能成功编译,生成的阴影仍然会出错。
大规模并行执行以及对周边管线状态的依赖,使调试变得复杂。表面呈现黑色,可能是由着色器中的算术错误、未绑定的资源、错误的顶点属性、未通过的深度测试或格式不匹配所致。帧捕获工具可以展示绘制调用、资源内容和管线状态;在支持的情况下,着色器调试器可以检查选定的调用实例。将法线显示为颜色、输出调用实例索引等诊断手段,有助于确定问题究竟出在几何、插值、资源还是光照环节。
要保证数值计算的正确性,就必须注意异常输入。对零长度向量进行归一化、除以趋近于零的值,或在函数的预期定义域之外求值,都可能产生无穷大或非数值(NaN)。这些值可能在后续图像处理遍中传播。视觉正确性还涉及时间维度:不稳定的采样、不连续的细节层次切换或不一致的运动信息,即使在单帧看起来合理的情况下,也可能导致闪烁。自动化测试可以在一定容差内与参考图像进行比较,而不必要求所有硬件上的结果逐位相同。
着色器工作负载还会带来安全问题,因为应用程序可以向复杂的编译器和驱动程序软件栈提交规模可观的程序。面向 Web 的图形接口必须将这些程序及其资源访问视为不可信内容。语言验证、边界相关规则、资源隔离以及沙箱机制,有助于限制所提交代码的能力。不同 API 的要求各不相同;不能认为 Web 图形环境提供的某项保障,也适用于所有原生图形接口。
运行时间极长或存在其他异常行为的工作负载,可能影响显示响应能力或 GPU 的共享使用。因此,操作系统和设备驱动程序会采用调度、故障处理,以及某些环境下的超时恢复机制。恢复操作可能会终止工作负载,或使图形设备上下文失效,而不是维持应用程序的正常执行。这些机制并不等同于证明着色器必然终止,或证明其输出在数学上正确。
要保证结果可复现,仅保留源代码文本还不够。相关信息还包括编译器版本、编译选项、生成的中间模块、管线配置、资源格式,以及具有代表性的输入数据。编译器更新可能改变指令选择,也可能暴露先前能够通过编译的代码中隐含的假设。因此,生产环境中的构建系统会将着色器依赖项和编译产物与普通应用程序代码一并跟踪管理,将着色器程序视为可执行软件,而不仅仅是视觉资产。