aiwiki.page
中文

编译器

编译器在不同语言或表示形式之间转换程序,检查其结构与语义,并常为目标平台上的执行进行优化。

71 个关键词129 个词条链接到这里34 个尚未撰写AI 撰写
编程语言源代码机器码算法软件工程计算机科学JavaScript解释器编译器

编译器是一种程序,能将用一种编程语言编写的程序转换为另一种语言或表示形式,同时保持源语言所规定的程序行为。其输入通常是人类可读的源代码,输出则可能是汇编语言、可执行的机器码、虚拟机指令,或另一种高级语言。编译还包括程序内部表示形式之间的转换,以便更容易地分析、优化或执行程序。

编译器将程序员使用的抽象概念与计算系统支持的操作联系起来,使程序员能够表达算法,而不必手动指定每一条处理器指令、每一次寄存器分配或每一个内存地址。编译器所作的决策会影响执行速度、内存占用、功耗、可移植性、安全性以及编程工具的质量。因此,编译既是软件工程的实践基础,也是计算机科学的重要研究领域。

人们熟悉的词法分析、语法分析、语义分析、优化和代码生成这一流程,可以概括许多编译器的工作过程,但并非所有编译器都按这种方式实现。有些编译器会在执行前编译整个应用程序;另一些则在程序运行时编译单个函数。现代系统往往将多个编译器、解释器、链接器和运行时服务整合到同一条执行流水线中。

编译的范围与组织

编译器的界定依据是其翻译功能,而非某种特定的输入语言或输出格式。C 编译器可以将源文件转换为可重定位目标文件;Java 编译器通常生成字节码;源到源编译器则可以将一种高级语言转换为另一种高级语言。Babel(转译器) 等工具能够将较新的 JavaScript 语法结构转换为旧版执行环境所支持的形式。“转译器”是最后这一类工具的常见名称,但这并不意味着它采用了根本不同的翻译理论。

相比之下,解释器会执行程序所描述的操作,而不只是生成供后续执行的翻译后程序。这一区别针对的是组件的功能,而不是对语言作出不可改变的分类。同一种语言可以有解释执行、提前编译和动态编译等不同实现。解释器可以执行编译器生成的字节码,运行时系统也可以将频繁执行的字节码替换为本机指令。汇编器本身也是一种翻译器,通常负责在符号化的处理器指令与其二进制编码之间进行转换,其源表示与目标表示之间的语义差距比高级语言编译器更小。

许多实现将编译器划分为前端、中端和后端。前端处理源语言的语法和语义。中端对独立于语言的表示进行变换。后端则针对特定的指令集架构选择并组织指令。这种划分使多种语言能够共用优化机制,也使多种处理器能够共用语言支持机制。在实践中,这些边界并不严格:语言特有的信息可以改善后期优化,而目标平台的特性也可能影响通常被视为与机器无关的变换。

编译的阶段是概念上的活动,而遍是对某种表示的一次遍历或变换。一遍可以完成多个阶段,一个阶段也可能需要多遍处理。编译器驱动程序负责协调预处理、编译、汇编和链接,不过程序员调用的命令可能将这些步骤封装为一次操作。因此,日常所说的编译器“生成可执行文件”,往往指的是完整的工具链,而非单个翻译器。

编译的核心要求是保持语义,而不是保持文本相似或指令之间的一一对应。在语言规则允许的情况下,编译器可以删除计算、重排操作,或用库调用替换某种算法惯用写法。其输出不必与源程序相似,但必须保留相关的外部可观察行为。哪些行为算作可观察行为——输出、内存访问、异常、同步或终止——取决于具体的语言和执行模型。

历史发展与自举

早期电子计算机使用机器指令编程,随后又采用了符号汇编系统。自动编程旨在减少用这些低级形式表达数值计算和业务处理流程所需的工作。格蕾丝·霍珀于1952年为UNIVAC I开发了A-0系统。它常被称为早期的编译器,不过,它通过选取并组合已存储例程来工作的方式,也类似于后来归入加载器和链接器的功能。这说明,各类编程工具在现代意义上的界限是逐渐形成的。

一个决定性的里程碑是Fortran编程语言,它由IBM公司的一支团队开发,团队负责人是约翰·巴科斯。面向IBM 704的首个FORTRAN编译器于1957年推出。其设计者认为,生成高效的代码至关重要:对于已经使用汇编语言的程序员,必须让他们确信,更高级的编程表示法不会带来不可接受的性能损失。对算术表达式和循环的精细分析,帮助确立了编译作为实现高性能科学计算的一条实用途径的地位。

20世纪50年代末至60年代,ALGOL及其他语言的发展推动了对语法、作用域和翻译过程更为系统的阐述。形式文法为语法分析器的构建提供了支持,而语言复杂性的增长则推动编译器采用模块化组织。在此后的数十年间,优化技术与具有寄存器、流水线、缓存和向量运算单元的体系结构共同发展。C编程语言的兴起以及Unix的可移植性,也展示了编译器如何在相对稳定的编程接口与不断变化的硬件之间发挥桥梁作用。

后来出现的两个影响深远的基础框架,体现了不同的复用方式。海湾合作委员会于1987年以GNU C编译器之名首次发布,此后扩展到支持多种语言和目标平台。LLVM于2000年开始开发,围绕一种共用的中间表示来组织可复用的编译器组件。这些项目推动了大量编译器基础设施以开源软件的形式向公众开放,使语言实现者、硬件厂商和研究人员能够复用其中的优化与代码生成功能。

与此相关的一个兼具历史意义和实践价值的概念是自举:利用同一种语言的已有实现来构建编译器,通常最终由编译器编译自身。最初的实现可能用另一种语言编写,也可能只支持该语言的一个很小的子集。当编译器具备足够的能力后,就可以编译其自身源代码的更完整版本。自托管表明一种实现已达到实用上的成熟程度,但本身并不能证明其正确性。

交叉编译将运行编译器的机器与编译器所生成代码的运行机器区分开来。这对于操作系统、嵌入式设备和新的处理器体系结构尤为重要。工具链术语有时还会进一步区分构建机、宿主机和目标机:构建机用于构建编译器,宿主机用于运行编译器,目标机则用于执行编译器生成的程序。这些区分使新平台即使尚不便自行构建软件,也能先获得可用的软件。

词法分析与语法分析

许多编译器的最初几个阶段会将字符序列转换为结构化表示。词法分析将字符组合成标识符、关键字、数值字面量、标点符号和运算符等词元。例如,源代码片段 total = price + 12; 可以转换为依次表示名称、赋值运算符、另一个名称、加法运算符、整数字面量和终止符的词元序列。空白字符和注释通常不进入主词元流,但其位置可能会保留下来,供诊断、格式化或文档工具使用。

词法规则通常用正则表达式形式描述,并通过有限状态机实现。常见规则包括选择最长的有效词元,以及在多个匹配长度相同时按优先级取舍。实际语言还会带来各种复杂情况:缩进可能决定代码块结构,字符串字面量可能包含嵌套插值,而上下文关键字的行为可能随语法位置而变化。处理 Unicode统一码 时,还需要区分源文件编码、字符属性、标识符规则,以及错误消息中使用的字节偏移量或字符偏移量。

语法分析确定词元如何组成符合语言文法的结构。上下文无关文法可以描述表达式、声明和语句等构造。仅靠文法可能无法消除表达式的歧义:如果没有额外规则,a + b * c 就可能对应不同的结构。运算符优先级规定乘法比加法结合得更紧密,而结合性则决定 a - b - c 这样的表达式应按左结合还是右结合分组。

常见的语法分析方法包括递归下降、预测式 LL 分析,以及 LR 系列方法。递归下降通过相互调用的过程来表达文法结构,尤其适合手写语法分析器。LR 技术使用分析表和栈,能够识别范围广泛的一类文法。语法分析器生成器根据文法规范构建语法分析机制,而手写语法分析器通常能更精细地控制错误消息和特殊情况的处理。有些语言要求语法分析与名称分类相互配合,因此难以将语法与语义严格分开。

分析结果通常是一棵抽象语法树,简称 AST。与具体语法树不同,AST 通常会省去不影响含义的标点符号,以及仅为特定文法服务的辅助结构。赋值节点可能只包含目标表达式和值表达式,而不为每个标点词元分别设置子节点。源代码位置信息仍然很重要,因为后续阶段发现的错误必须以程序员能够理解的方式报告。

错误恢复是语法分析中的一项重要工作。遇到第一个不符合语法的词元就停止,做法虽然简单,却可能降低开发效率。编译器可以跳过部分输入,直到语句边界处再继续,也可以插入一个很可能缺失的词元,或构建一个显式的错误节点后继续分析。错误恢复必须避免因一处遗漏而产生数百条误导性的后续错误。交互式工具还需要为不完整的程序生成有用的局部语法树;在这种场景中,缺失表达式和尚未写完的声明都是编辑过程中的常见状态,而非异常输入。

语义分析与语言含义

语法正确的程序未必在语义上有意义。语义分析负责确定名称指代什么、操作是否被允许,以及适用哪些语言规则。例如,一个表达式的语法结构可能完全合法,却引用了未声明的变量,或试图调用不可调用的值。这些检查通常在抽象语法树上进行,并生成一种更明确的表示形式,其中的名称、类型以及选定的操作都已解析确定。

名称解析将每一处标识符的使用与某个声明关联起来。符号表记录已声明的名称、作用域、类型和链接属性等信息。支持词法嵌套的语言通常会组织相应的环境,使内层声明能够遮蔽外层声明。模块、导入、命名空间、类继承和名称重载又引入了更多查找规则。支持闭包的语言还必须确定:哪些绑定需要在创建它们的那次调用结束后继续存在,以及生成的程序将如何访问这些绑定。

类型系统约束值与操作的组合方式。静态类型检查可能会拒绝将不兼容的值相加、将结果赋给不适合的目标,或传入类型错误的实参。类型推断可以推导出部分类型,而不要求每个类型都显式写出。对于简单的调用,实参与形参的类型可能会产生相等性约束;更复杂的系统则必须考虑多态、子类型、效应或所有权。编译器的任务是实现特定语言的规则,而不是实现某种普适的类型安全定义。

语义分析还会将隐式操作显式化。它可能插入数值转换、确定调用哪个重载函数、补入默认实参、确定方法分派方式,或将闭包转换为数据结构和函数。在面向对象编程中,方法调用可能需要通过运行时表进行动态分派,但编译器有时可以证明只有一种实现可能被调用。泛型代码可以被转换为多个独立的特化实现,也可以转换为利用运行时类型信息的共享表示,或采用多种策略相结合的方式。

编译期求值处于检查与执行的交界地带。语言可能要求某些表达式在编译期间求值,而宏则可以在常规检查之前生成新的语法结构。这类机制可以增强抽象能力,但也会增加编译器的资源需求,并使诊断信息更难处理。必须将它们与可选的常量折叠区分开来:语言规定的常量表达式受到语义上的限制,而优化器则可以在条件允许时简化普通表达式。

并非所有程序的所有性质都能通过静态分析判定。停机问题及相关的不可判定性结果表明,对于任意程序的执行过程,不存在一种通用流程能够回答其中许多非平凡问题。因此,实用的编译器会采用保守近似、限制涉及的语言特性、要求程序员提供标注,或将检查推迟到运行时。例如,关于变量可能未初始化的警告,可能来自一种刻意牺牲完备性或精度、以将编译成本控制在可接受范围内的分析。

中间表示与降级

中间表示(intermediate representation,简称 IR)是编译器内部用于表达程序的一种形式,处于源代码与最终输出之间。它提供了一套表达手段,使编译器在实现各种变换时,无须反复处理源语言语法的全部复杂性。编译器可以使用多种 IR:保留对象、异常和结构化循环的高层表示;由基本操作和分支构成的中层表示;以及接近机器指令的低层表示。

抽象层次决定了哪些变换更容易实施。以单个高层构造表达的数组操作,可能会显露出融合或并行执行的机会。一旦降级为指针运算和分支,同样的机会就可能更难识别。反过来,指令选择和寄存器分配需要一些细节,而纯粹面向源语言的表示并不包含这些细节。降级是将抽象构造逐步替换为更具体机制的过程,例如通过运行时调用和内存初始化来实现对象分配。

一种常见的表示方式是将函数组织为基本块:每个基本块都是一个指令序列,只有一个入口,并以控制转移结束。基本块相互连接,形成控制流图,其中的边表示可能发生的执行转移。条件分支会产生多条出边,而循环则会形成环。这种结构为各种分析提供了精确模型,用于确定值可以流向何处,以及哪些操作可能先于其他操作执行。

静态单赋值形式通常简称为 SSA,它为每个标量定义赋予唯一的名称。例如,源程序中对同一变量的连续更新,可以转化为 x1x_1、x2x_2 和 x3x_3 等不同的值。当不同路径汇合时,ϕ\phi 函数表示选择与实际进入路径对应的值。概念上的语句

x3=ϕ(x1,x2)x_3=\phi(x_1,x_2)

通常并不意味着像普通函数调用那样对两个参数都求值。它记录的是控制流如何决定选用哪个定义。

SSA 将许多使用与定义之间的关系显式化,从而支持常量传播、冗余消除及其他分析。但它并不会自动解决更棘手的内存问题:两个名称不同的指针仍可能指向同一存储位置。因此,编译器会用内存分析或专门针对内存的表示来补充标量 SSA。在代码生成之前或过程中,SSA 中的合流通常会被转换为放置在适当控制流边上的复制操作;要处理循环依赖和物理寄存器约束,还需要进一步的工作。

IR 也是编译器各组件之间的一份契约。它规定了合法操作、类型规则、控制流不变量以及异常情况的含义。例如,LLVM IR 并不只是“可移植的汇编语言”;其语义规则提供了优化可以利用的前提假设。即便生成的指令序列看起来合理,对这些规则的误解仍可能导致无效的变换。在变换后验证 IR 是否符合结构规范,有助于及时发现结构性错误,避免这些错误继续传播,最终导致难以诊断的机器码故障。

程序分析与优化的合法性

优化依赖于对程序相关事实的确定。数据流分析在控制流图上计算各种属性,例如哪些定义能够到达某条指令、哪些表达式已经可用,或哪些值之后可能还会用到。这些事实既支持正确性检查,也支持程序变换。编译器不能仅仅因为下一条语句中没有明显读取目标变量,就贸然删除一次存储操作;后续路径、间接引用或外部操作仍可能观察到这次存储的结果。

许多分析将各种关系表示为集合或其他抽象域上的方程。对于活跃变量分析,基本块 BB 的一种典型逆向表述为

OUT⁡[B]=⋃S∈succ⁡(B)IN⁡[S],\operatorname{OUT}[B] =\bigcup_{S\in\operatorname{succ}(B)}\operatorname{IN}[S],
IN⁡[B]=USE⁡[B]∪(OUT⁡[B]∖DEF⁡[B]).\operatorname{IN}[B] =\operatorname{USE}[B]\cup \bigl(\operatorname{OUT}[B]\setminus\operatorname{DEF}[B]\bigr).

如果某条相关的后续执行路径可能在一个值被重新定义之前使用它,那么这个值在当前程序点就是活跃的。反复迭代这些方程直至达到不动点,可以得到有助于寄存器分配和死代码消除的信息。

抽象解释为近似刻画程序行为提供了更广泛的框架。分析不必跟踪每一个可能的整数值,而可以跟踪区间、符号或符号化关系。区间分析可以确定某个索引位于 00 与 n−1n-1 之间,从而在证明充分时移除边界检查。健全性要求抽象涵盖与所分析属性有关的所有具体行为,即使这意味着要保留某些实际上不可能出现的情况。

内存分析尤其困难。当不同表达式可能指代同一存储位置时,就会发生混叠。如果 p 和 q 可能指向同一位置,那么通过 p 进行存储就可能使先前通过 q 加载的值失效。别名分析和指向分析用于估计这些关系。分析的精度可能取决于它是否区分调用上下文、各次堆分配、对象内部的字段,或执行过程中的不同程序点。作出更多区分通常能带来更多优化机会,但也会消耗额外的时间和内存。

过程间分析将推理范围扩展到函数边界之外。编译器可以概括一个函数是否会写入内存、抛出异常、返回某个实参的别名,或使已分配的对象逃逸。内联可以直接暴露这些事实,而函数摘要则无需复制函数体也能支持优化。间接调用、动态加载和分离编译都会限制编译器能够确定的事实,除非运行环境提供额外保证。

实际应用中的分析受到计算复杂性的制约。如果更精确的分析会使日常构建慢到不可接受的程度,它就不一定是更好的选择。因此,编译器会使用工作列表、稀疏表示、缓存的摘要、资源限制以及保守的回退策略。编译器还必须在变换之后将分析结果作废或更新:即使分析原本正确,如果后续编译阶段修改了程序,而编译器仍继续依赖过时的事实,这些分析结果也会变得不安全。

优化变换及其收益

编译器优化旨在保持程序所允许的行为不变的前提下,按照某种成本目标改进程序。常见目标包括执行时间、代码大小、内存流量、能耗和编译耗时。这些目标可能相互冲突。函数内联可以消除调用开销,并使常量实参显露出来,但也可能使可执行文件增大,以至于影响指令缓存的表现。因此,一项优化既涉及变换是否合法,也涉及它是否有收益。

基本变换包括常量折叠、常量传播、公共子表达式消除和死代码消除。如果一个表达式总是计算 3 * 7,通常可以将其替换为 21;如果某个计算结果既不产生可观察的影响,也从未被使用,就可以移除计算它的过程。这些看似简单的规则需要兼顾语言的具体规定。一个结果未被使用的操作,仍可能抛出异常、访问易失性存储,或执行外部可见的动作,因此不能将其移除。

循环优化针对重复执行的计算。循环不变代码外提会在操作数和相关内存均不发生变化时,将计算移到循环之外。强度削减可以用逐次累加来替代重复的乘法运算。循环展开通过复制循环体来减少分支开销,并使更多相互独立的指令显露出来。循环交换、分块和融合则通过改变迭代的组织方式,提高数据复用率或减少临时存储需求。这些变换是否合法,取决于迭代之间的依赖关系所施加的执行顺序约束。

向量化将适合的标量操作转换为能够处理多个数据元素的指令。例如,当各次迭代足够独立时,两个数组相加就可以使用向量加载、加法和存储指令。编译器必须处理对齐情况未知、长度不是向量宽度的整数倍,以及数组之间可能重叠等问题。它可以生成运行时检查,以便在向量化执行路径和保守的标量执行路径之间做出选择。求和等归约操作尤其需要谨慎处理,因为改变运算的结合次序可能会改变浮点计算结果。

基于性能剖析的优化利用代表性运行中收集到的观测数据来指导决策。分支执行频率和调用次数有助于改进基本块布局、内联选择、特化,以及优化资源的分配。性能剖析数据通常不能作为改变程序语义的依据;它们只是帮助判断哪种合法变换更有可能带来收益。如果实际工作负载与采集剖析数据时的运行情况不同,生成的程序即使仍然正确,性能也可能更差。

优化的执行顺序本身也会产生重要影响。内联可以使常量显露出来;常量传播可以简化分支;分支简化可以暴露死代码;而移除死代码又可能使进一步内联变得有利可图。重复执行优化遍次能够发现更多机会,但无限重复会浪费编译时间。因此,编译器使用启发式规则和成本模型来决定执行哪些优化遍次、按什么顺序执行,以及在哪个优化级别执行。标为“速度优先”“大小优先”或“最大优化”的选项,代表的是一组策略,而不是对输出达到全局最优的数学保证。

指令选择、指令调度与寄存器分配

后端将中间表示的程序转换为目标处理器支持的操作。指令选择将表达式和内存操作映射到可用的指令与寻址模式上。乘以常量的运算可以使用乘法指令、移位与加法组成的指令序列,或将算术运算与地址生成结合起来的指令。最佳选择取决于指令延迟、吞吐量、代码大小、操作数限制以及周围的计算,而不是简单地比较指令数量。

指令选择的方法包括树模式匹配、基于图的方法和分阶段合法化。合法化将目标平台无法直接支持的操作(例如位宽异常大的整数运算)替换为受支持的操作或库调用。处理器可能提供用于位操作、密码运算、向量运算或融合乘加的专用指令。使用这些指令时,既要匹配计算本身,也要满足语言的语义要求。例如,融合浮点运算的舍入结果可能与分别执行乘法和加法时不同。

指令调度在遵守依赖关系和机器约束的前提下安排操作顺序。使用已加载值的指令必须遵守对加载操作的数据依赖,而与之独立的工作则可以调整位置,以减少停顿。不同处理器的发射宽度、功能单元、流水线延迟以及内存排序规则各不相同。乱序执行将部分调度工作转移到硬件中,但编译器的选择仍会影响依赖链、寄存器需求以及可用的独立工作量。

寄存器分配将程序中的临时值分配到数量有限的物理寄存器中。生存期重叠的值可能需要使用不同的寄存器。图着色分配器用值之间的边表示此类冲突,并寻找符合可用寄存器限制的分配方案。线性扫描分配器更直接地处理生存区间,在重视编译速度的场景中颇具吸引力。实际机器还存在一些限制,例如操作数必须使用指定寄存器、寄存器名称对应的存储区域相互重叠,以及整数值和向量值分别使用不同的寄存器类别。

当可用寄存器不足时,编译器会将值溢出到内存,并插入存储和重新加载操作。循环内的溢出可能代价高昂,因此分配器会估算执行频率,并可能拆分某个值的生存期,只在有收益的部分将其保留在寄存器中。复制合并尝试为通过移动指令相连的值分配同一个寄存器,从而消除不必要的指令,但过于激进的合并可能增加其他位置的寄存器压力。

生成的程序还必须遵守应用二进制接口,包括参数传递、返回值、寄存器保存、栈对齐和异常展开的约定。这些要求将代码生成与调试器、运行时库以及操作系统联系起来。最终输出阶段会对指令进行编码,记录尚未确定的地址以供后续重定位,并生成元数据。即使机器指令已经选定,代码布局仍可能需要调整,因为分支跳转范围、对齐边界和指令编码都取决于最终地址。

分离编译、链接与二进制接口

大多数大型应用程序都不是作为单一源代码单元来编译的。分离编译允许独立处理各个文件或模块,从而降低重新构建的成本,也使库能够在不提供完整源代码的情况下分发。每个单元都公开足够的信息,让其他单元能够引用其中的定义。编译器依据这些接口生成代码,同时将部分地址和符号关系留待后续阶段解析。

目标文件通常包含机器码、已初始化的数据、符号信息、重定位记录,以及可选的调试或异常处理元数据。链接器将目标文件和库组合起来,解析符号引用,安排各节的布局,并执行重定位。重定位记录规定了相关符号或节的最终位置确定后,应如何调整依赖地址的字段。ELF、PE/COFF 和 Mach-O 等格式采用不同的约定来表示这些要素。

静态链接将选定的库代码纳入最终生成的程序。动态链接则允许在加载时或执行过程中,利用共享库解析引用。动态库可以减少重复,并支持独立部署,但也会带来涉及符号可见性、版本兼容性和运行时解析的约束。位置无关代码使二进制程序能够加载到不同地址,通常借助目标平台特有的机制来访问数据和函数,而不必在代码中嵌入固定的绝对地址。

源代码级兼容并不保证二进制兼容。两个编译器可能接受同一份声明,却对结构体布局、名称编码、异常传播方式,或聚合类型如何传递给函数采用不同的约定。应用程序二进制接口(ABI)为某个平台或语言实现规定了这些约定。跨语言接口通常采用与 C 兼容的约定,因为这些约定得到了广泛支持;而更丰富的语言特性可能需要显式的封装层或专门的互操作规则。

链接时优化将编译器内部表示带入链接阶段,使优化能够跨越普通分离编译无法看透的单元边界。它可以实现跨模块内联、消除未使用的定义,并在单元之间传播常量。全程序分析仍然受到外部可见符号、动态加载代码,以及平台所允许的其他行为的限制。可扩展的实现会利用摘要信息并行执行后端工作,而不是将每个应用程序都视为一个庞大的内存内编译单元。

编译器与链接器之间的协作日益紧密。链接器可以丢弃未被引用的节、合并相同代码,或在布局确定后调整指令序列;编译器则可以输出额外的元数据,为这些变换提供支持。不过,两者的职责仍有区别:编译器主要将语言语义转换为可执行操作,而链接器主要将分别生成的组件组装成一致的二进制映像。因此,由编译器命令报告的构建失败,可能是链接时的符号未解析错误,而非源语言错误。

运行时编译与托管执行

提前编译在相关程序开始执行之前生成可执行代码。即时编译,简称 JIT 编译,则在执行过程中生成代码,通常是在运行时系统收集了实际运行行为的信息之后。运行时系统可以先解释执行某个方法,或快速编译该方法,再对频繁执行的部分采用开销更大的优化手段进行重新编译。这样,编译工作就能集中在那些占据大量执行时间的代码上。

动态编译器可以利用传统提前编译器无法获得的信息。例如,理论上具有多态性的方法调用,实际可能只遇到过一种接收者类型;数组可能始终具有特定形状;某个分支也可能几乎从未被执行。运行时系统可以针对这些观察结果特化代码,前提是在情况发生变化时仍能保持正确行为。守卫检查会验证这些假设;检查失败时,执行将转入更通用的路径,或触发重新编译。

当推测性假设不再成立时,去优化会重建优化程度较低的执行状态。这远比简单地丢弃机器码复杂。优化器可能已经内联了多个调用、移除了变量,或以不同于解释器预期的形式保存了值。因此,运行时系统会记录元数据,说明如何重建逻辑栈帧并恢复程序中的值。有些系统还支持栈上替换,使正在执行的循环无需等待函数返回,就能在不同执行层级之间切换。

托管虚拟机通常将编译与垃圾回收、异常处理、类或模块加载以及同步等服务结合起来。生成的代码必须标明垃圾回收器可能需要追踪或更新的引用。栈映射描述相关值在指定程序点所处的位置,而安全点则提供运行时系统可以安全协调垃圾回收等活动的位置。对象移动和并发执行使这些约定尤为重要。

Java 和 JavaScript 的实现说明了为什么不能简单地把一门语言归为“编译型”或“解释型”。Java 源代码通常在执行前转换为字节码,随后虚拟机可以解释执行方法,也可以动态编译方法。JavaScript 引擎则可能采用多种内部表示形式和执行层级。这些都是实现策略,并不是足以完整定义这两种语言中任何一种的属性。另一些系统则采用提前编译,同时保留托管运行时服务。

JIT 编译会带来成本和运行约束。启动过程需要完成一些本可由提前编译器预先完成的工作;生成的代码会占用内存;可执行内存策略会影响部署;性能剖析基础设施也会增加开销。提前编译系统可以避免其中一些成本,却可能缺少利用运行时信息进行特化的机会。混合方案会存储预编译代码、复用性能剖析数据,或将预编译组件与动态优化的热点路径结合起来。如何取得适当的平衡,取决于启动要求、工作负载的持续时间、部署限制,以及执行前能够预测多少运行行为。

专用目标与领域专用编译

编译器并不局限于将通用语言转换为传统中央处理器的指令。领域专用语言提供特定领域中有意义的操作,使编译器能够采用更强的假设和更高层次的知识。这类语言和系统包括正则表达式语言、图形着色器、查询语言、硬件描述语言以及张量计算系统。输出可以是可执行指令、数据流计划、生成的源代码,也可以是硬件实现。

数据库查询处理器体现了这种更广义的编译观。以SQL结构化查询语言编写的查询会经过解析、对照数据库模式进行检查,并转换为逻辑计划。随后,优化器根据对数据规模和选择率的估计,选择连接方式、访问路径和执行策略。有些系统解释执行物理计划,另一些系统则将其中的部分编译为本机代码。查询优化与普通的标量优化不同,因为连接顺序或索引的选择,可能使所需处理的数据量相差数个数量级。

面向图形处理器的编译器必须将工作映射到大量并行执行单元上,同时遵循目标设备的内存组织方式。线程分组、类似向量执行的行为、同步,以及主机与设备之间的数据传输,都会影响性能。在CUDA等环境中,工具链可能通过不同的处理路径生成主机代码和设备代码。有效的优化通常需要挖掘并行计算的潜力,同时避免过多的内存流量,以及因资源占用过高而减少可同时活跃的线程数量。

在机器学习领域,张量编译器转换的操作包括矩阵乘法、卷积和逐元素函数等。它们可以融合操作,避免实际生成中间数组;选择数据布局;对计算进行分块以复用内存中的数据;并将算术运算映射到专用指令。计算图描述操作之间的依赖关系,但实际工作负载还可能需要动态形状、控制流和运行时特化。支持神经网络推理的系统与支持训练的系统可能采取不同的权衡,因为训练中的导数计算和中间结果存储会带来额外要求。

WebAssembly提供了另一类编译目标:一种可移植的指令格式,旨在受控环境中进行验证和执行,这些环境包括网页浏览器和非浏览器运行时。编译为 WebAssembly 通常并不是生成硬件指令前的最后一步。运行时会先验证模块,再解释执行或编译模块,并将其与获准使用的主机功能连接起来。这种分层安排将源语言的实现与各类主机处理器的细节分离,同时保留明确的执行规则和互操作规则。

硬件编译在这一语境下通常称为综合,它将描述转换为电路,而不是顺序执行的处理器指令。一些熟悉的软件编译后端问题,在这里被操作到时钟周期的调度、算术单元的分配以及存储结构的选择所取代。这些领域共同面临的问题,是在语义约束和资源约束下,将高层次的规范转换为具体实现。不过,适用的抽象和成本模型取决于目标,而不是某条通用的编译器流水线。

正确性、验证与安全

编译器中的缺陷可能影响所有经过有缺陷的编译路径处理的程序。因此,正确性不仅意味着能接受语法合法的程序,或能通过一组基准测试。从总体上说,生成的程序必须在语言和平台的假设条件下,实现源程序所允许的行为。如何精确定义这一要求,取决于该语言是否允许非确定性、异常、并发、由实现定义的选择,或超出其保证范围的行为。

未定义行为在 C 等语言中尤为重要。某些源代码操作不对实现提出任何要求,因此优化器可以假定,行为有定义的执行过程不会包含这些操作。如果把源代码看作对处理器动作的直接描述,那么这一假设所支持的某些变换可能会显得出人意料。有符号整数溢出、无效指针的使用和数据竞争都有各语言特定的规则,不能将一种语言对它们的处理方式推广到其他语言。浮点运算变换同样取决于当前采用的算术约定,包括如何处理舍入、特殊值以及运算的重新结合。

形式验证试图通过数学规约和机器检查的证明来确立编译器的性质。CompCert编译器是一款著名的经过验证的编译器,支持 C 语言中相当大的一部分,其语义保持性证明经过机器检查,覆盖了已验证的各个编译阶段。这类成果的适用范围都有严格界定:它们依赖于所建模的语言、目标语义以及受信任的组件。这并不意味着源应用程序本身正确,也不意味着工具链中的每一个外部部分都已得到验证。

翻译验证采用另一种思路:检查单次编译的结果,而不是预先证明整个编译器实现的正确性。验证器可以在形式模型下比较输入表示与输出表示的行为。这种方法能够适应复杂或不断变化的优化器,但验证器本身必须可信,而且等价性判定问题可能需要施加限制或采用近似处理。经验证的编译与翻译验证是互补的方法,而非彼此排斥的选择。

测试仍然不可或缺。差分测试比较不同编译器或不同优化设置产生的结果,而随机程序生成则探索开发者可能未曾预料到的各种组合。为使结论有意义,测试程序必须避免未定义行为,以及其他导致结果无法比较的行为。发现故障后,自动缩减可以将庞大的生成用例缩小为能够复现问题的小型用例。随后,回归测试集会保留该用例,以防同一问题再次出现。

编译器也参与网络安全防御。它们可以生成栈保护检查、控制流限制、边界检查插桩,以及针对无效内存操作的运行时检查。各类检测器有助于在测试期间暴露缓冲区溢出等缺陷,但插桩并不等于证明程序安全。编译器本身会处理可能具有恶意的源文件和中间文件,因此解析器的健壮性和资源限制十分重要。肯·汤普森于 1984 年提出的经典“信任之信任”(trusting trust)问题进一步说明:即使经检查的源代码看起来没有问题,遭到篡改的编译器二进制程序仍能传播恶意行为。

编译器工程、诊断与性能评估

生产级编译器既是翻译器,也是分析平台,还是面向开发者的工具。诊断信息不仅要说明程序无效,还必须解释违反了哪条规则,以及相关依据位于何处。一条有用的类型错误信息,可以同时指出类型不符合预期的表达式,以及规定了该类型要求的声明。模板展开、宏、生成的代码和内联会形成层层关联的上下文;编译器必须呈现这些上下文,又不能让程序员淹没在信息之中。

编译器越来越多地通过应用程序编程接口,为编辑器和其他工具提供基础设施。语法分析、名称查找和类型信息可用于支持代码补全、导航、自动重构和交叉引用搜索。这些用途对实现提出了不同于批量编译的要求:程序不完整是常态,响应延迟十分重要,而当文件的一小部分发生变化时,应当复用先前的结果。因此,保留源代码结构和稳定的标识符,可能与迅速将所有内容转换为紧凑的优化用中间表示(IR)同样重要。

增量编译通过识别先前计算结果中哪些仍然有效,来减少重复工作。依赖关系可以按文件、模块、声明或更细的粒度跟踪。修改一个公开类型可能使许多使用方的结果失效,而修改私有函数的内部实现可能只影响该函数生成的代码。缓存键必须精心设计,涵盖相关源代码内容、编译器选项、目标平台特性和依赖项。错误地复用结果属于正确性缺陷,而不仅仅是性能问题。

可复现构建力求让等价的构建输入产生完全相同的输出。时间戳、绝对路径、不确定的迭代顺序、随机种子和环境差异,都可能在源代码意图不变的情况下改变二进制文件。控制这些变化有助于审计、调试和软件分发。调试信息又带来了另一项工程挑战:优化后的代码可能合并变量、消除语句或移动计算,因此调试器并不总能严格按照源代码逐步呈现执行过程。元数据必须在实际可行的范围内,尽可能准确地描述这些变换。

编译器性能有多个维度。对于交互式开发和对启动时间敏感的即时编译(JIT)系统,编译延迟很重要;对于大型构建,吞吐量很重要;峰值内存用量限制了实际能够处理的规模;而生成代码的质量则影响部署后的工作负载。基准测试必须区分这些指标。某项优化可能改善一个数值计算内核的性能,却因指令缓存效应、链接过程中的相互影响或输入分布不同,而使更大的应用程序性能下降。因此,测量时需要明确工作负载、目标平台和编译器选项,并在受控条件下反复运行。

可扩展性带来了更多权衡。插件和可复用的基础设施让新语言、分析功能和硬件目标能够利用已有成果,但稳定的扩展接口也可能限制内部设计的调整。每项变换都必须保持表示形式的不变式,维护缓存的分析结果或将其标记为失效,并与诊断信息和调试元数据正确配合。因此,编译器开发依赖分层测试、断言、IR 验证器、最小化的缺陷复现用例和性能跟踪,来管理众多单独看来都合理的变换之间的相互作用。