解释器是一种程序,通过在运行时实现指令所规定的语义,执行以编程语言或其他可执行表示法表达的指令。它的输入可以是源代码、源代码的结构化表示,也可以是抽象机指令。传统的预先编译式编译器会生成翻译后的程序,供后续执行;与之不同,解释器在程序执行过程中始终直接参与各项操作。
解释是一种实现技术,而不是语言的固有属性。一种语言可以有解释式、编译式和混合式实现,同一个实现也可以在解释一部分代码的同时编译另一部分代码。现代语言系统往往将解析、编译为中间指令、解释执行和动态编译结合起来。因此,人们熟悉的“解释型语言”与“编译型语言”之分,只能作为对常见实现方式的简略描述。
解释器在交互式编程、应用程序脚本、可移植执行环境以及动态语言特性的实现中都发挥着重要作用。解释器的设计将语言语义与执行速度、内存管理、互操作性、隔离和调试等实际问题联系起来。同样的基本思想也见于指令集模拟器和专用执行引擎,不过,并非所有处理结构化输入的程序通常都被称为解释器。
解释、编译与执行
解释器的核心工作是执行输入程序所规定的操作。对于 a + b 这样的表达式,它可能需要取得两个值,确定适用的加法运算,执行该运算并返回结果。对于条件语句,它会对条件求值,并选择相应的后续执行路径。这些动作可以直接由解释器自身的代码实现,也可以交由运行时服务和原生库完成。
因此,“直接执行源代码”并不是完整的定义。许多解释器并不直接执行源文本,而是先将其转换为语法树或内部指令序列。反过来,编译器也不一定要生成机器码:将源代码转换为另一种语言,或转换为供虚拟机执行的指令,也属于编译。一个先将源代码编译成字节码、再解释执行字节码的系统,同时使用了这两种技术。
一种有用的区分方式,是考察转换产物以及转换与执行的时间关系。提前编译器通常会在某次具体执行开始之前生成转换产物。解释器则在完成程序所要求的计算时,逐步处理程序的某种表示。支持动态编译的运行时系统可以在执行过程中转换选定的部分,再将控制权移交给生成的原生代码。这些类别描述的是系统内部的不同阶段,而不是互斥的软件类型。
解释执行也不意味着所有决策都会推迟到运行时。解释器可以在执行程序之前检查语法、解析名称、分析控制流或校验类型。有些采用解释执行的实现使用静态类型的输入语言;有些编译器则实现动态类型语言。类型规则、求值顺序、内存管理,以及解释与编译之间的选择,都是彼此独立的设计维度,即使其中某些组合很常见。
在最底层,解释执行通常由中央处理器执行的指令来实现。这并不意味着解释器的输入与处理器的指令集相同。解释器在宿主机器之上建立了另一种执行模型。用操作语义的术语来说,它实现了程序状态之间的转换。一个简化的描述是 ,其中 包含相关状态, 是下一个待解释执行的操作。
历史发展
解释执行在电子计算的早期便已出现,当时直接使用机器指令编程十分困难,硬件资源也很有限。Short Code 是用于数学表达式的解释型记法的早期实例,它源于约翰·莫奇利的构想,由威廉·施密特于1949至1950年前后开发而成。这类系统牺牲执行速度,换取更贴近待解决问题的表示方式。它们也展示了一条影响深远的原则:相比单靠物理计算机,软件能够提供更便于使用的抽象机器。
Lisp编程语言的发展,使解释执行成为语言实现和语言研究的核心。约翰·麦卡锡于20世纪50年代末提出 Lisp,史蒂夫·拉塞尔则在1960年前后实现了一个早期的 Lisp 求值器。这个求值器具体体现了符号表达式、变量环境和过程应用之间的关系。Lisp 也支持编译,但其解释器帮助确立了交互式求值的重要地位,也凸显了让程序操作其他程序的符号表示这一做法的价值。
BASIC编程语言在约翰·凯梅尼和托马斯·库尔茨的主持下,于1964年在达特茅斯学院首次运行,其设计目的是让人们能够在分时环境中轻松编程。最初的达特茅斯系统采用编译方式;后来,微型计算机上的 BASIC 系统使解释执行变得广为人知。微软的 Altair BASIC 于1975年问世,此后 BASIC 解释器成为许多家用计算机的标准交互界面。程序通常以词元化形式存储,用紧凑的编码替代关键字,从而不必反复检查关键字的完整文本拼写。
可移植的中间代码系统沿着一条相关的路径发展。20世纪70年代开发的 UCSD Pascal 将程序编译为面向抽象机器的 p-code。只要在另一台计算机上实现 p-machine,就能在该计算机上使用这套编程环境,而无须针对新的本机指令集重新构建每个应用程序。Smalltalk 系统也将虚拟机执行、运行中的对象环境和交互式开发融为一体。这些系统表明,解释执行不仅可以支撑命令处理器,还能成为完整开发环境的基础。
后来的实现越来越多地将解释与编译结合起来。Python编程语言于1991年首次公开发布,此后便与一种将源代码编译为字节码、再在虚拟机中执行的实现方式紧密联系在一起。Java 于1995年发布,带来了一套得到广泛部署的类文件与虚拟机架构;同样于1995年问世的 JavaScript 则被嵌入网页浏览器。此后的 Java 和 JavaScript 引擎采用了日益复杂的动态编译技术。这段历史并不是编译逐步取代解释的简单过程:解释器至今仍能提供小巧的执行引擎、快速的初始执行,并为推测性更强的优化提供基准。
从源文本到可执行结构
源代码级解释器通常首先通过前端识别输入的结构。词法分析将字符组织成标识符、数值字面量和标点符号等词法单元。随后,语法分析依据语言的语法规则,确定这些词法单元如何构成表达式、声明和语句。这一过程必须遵循运算符优先级等规则:在 2 + 3 * 4 中,乘法通常先于加法构成子表达式。
许多实现会构建一棵抽象语法树,简称 AST。AST 记录有意义的语法结构,通常会舍弃多余的括号、注释等细节。例如,加法节点可以保存对左右操作数的引用,而不是原始文本的副本。树遍历解释器根据遇到的节点类型选择相应的行为,对这种表示进行求值。字面量节点产生值,变量节点查询环境,条件节点则选择分支。
一个简化的算术求值器可以用以下规则描述:
其中, 将名称映射到其绑定。实际的语言需要复杂得多的机制。这条规则必须考虑语言的求值顺序、可能产生的副作用、数值表示方式,以及用户为加法定义的任何行为。求值器如果意外颠倒了操作数的求值顺序,即使两种顺序在普通算术运算中得出相同结果,也可能改变程序的可观察行为。
名称解析也可以在执行之前进行。实现可以预先确定某个局部变量位于活动记录中的特定槽位,而不必在每次引用该变量时都沿着字典链查找。这种做法保留了解释执行的方式,同时消除了重复工作。类似的预处理还可以区分局部绑定、外层作用域绑定和全局绑定,检查控制流结构是否允许出现在当前上下文中,或拒绝重复声明。
树遍历解释器很适合教学、原型开发,以及操作粒度相对较粗的语言。其实现方式往往与语言的语法结构相似。不过,遍历单独分配的节点可能需要大量指针访问,而递归求值可能占用实现语言的调用栈。因此,生产系统可能会将树转换为更紧凑的表示,使用显式执行栈,或编译部分操作。简单的教学用求值器与生产级解释器之间的差别,与其说在于基本思路,不如说在于如何处理这些反复发生的开销以及语义上的边界情况。
字节码机与指令分派
字节码解释器执行的是为软件实现的机器定义的指令序列。尽管名为字节码,但每条字节码指令不一定恰好占用一个字节。指令集可以采用定长字、变长编码、独立的操作数表,也可以混合使用多种格式。关键在于,这种表示形式是为运行时执行而设计的,而不是供宿主处理器直接执行。
基于栈的字节码机通常使用一个操作数栈。为了计算 a + b,它可能先加载 a,再加载 b,然后执行一条加法指令,从栈中取出两个操作数,并将结果压入栈中。基于寄存器的机器则显式指定虚拟寄存器,将这一运算表示为类似 ADD r3, r1, r2 的形式。栈式格式的指令通常较为紧凑,代码生成也比较直接。寄存器式格式在表达某些计算时,需要执行的指令可能更少,但其操作数也可能占用更多空间。这两种设计都不能保证在所有工作负载下具有更好的性能。
执行过程通常围绕指令分派展开:获取下一个操作码,并选择相应的处理程序。一种简单的实现是在循环中使用一个大型 switch 语句。其他实现则使用处理程序地址表或线程化分派技术。分派效率取决于宿主编译器、可用的语言扩展、指令布局以及处理器的分支预测能力。这里的“直接线程化代码”指的是一种执行表示形式,而不是使用多个操作系统线程。
除了指令流之外,虚拟机还维护着其他状态。一个栈帧可能包含局部变量、临时操作数、对正在执行的函数的引用,以及返回位置。分支指令改变指令指针;调用指令建立新的栈帧;返回指令恢复调用方的状态。异常处理可能需要借助表格,将指令范围映射到相应的处理程序。源代码位置表则让运行时能够将指令位置映射回有意义的源代码行或表达式,以提供诊断信息。
字节码为实现提供了一条实用的分界线。前端可以发生变化,而执行引擎保持不变;只要多种源语言的语义与同一台机器提供的功能相匹配,它们就可以将这台机器作为共同的编译目标。不过,字节码格式并不会自动成为稳定的分发标准。CPython 的字节码属于内部实现细节,可能随版本而变化;Java 类文件则遵循明确规定的格式及版本规则。这种表示形式的可移植性取决于相关规范和兼容的实现,而不是取决于它是否被称为字节码。
运行时值、环境与控制流
解释器在运行时如何表示值,对正确性和性能都有重大影响。经过静态特化的求值器可能已知某个存储槽中存放的是整数。动态类型解释器则通常需要一种能在执行过程中区分整数、浮点数、字符串、对象及其他类别的表示方式。常见技术包括带标签的值、指向堆对象的指针,以及将小型值直接存储、较大的值另行分配空间的混合方式。
加法这样的运算可以说明这些选择带来的影响。运行时系统可能会先检查操作数的标签。两个小整数可以走快速路径,但如果语言规定整数的取值范围不受限,那么发生溢出时就可能需要改用更大的整数表示。其他操作数组合则可能触发浮点运算、字符串拼接或用户定义的方法。解释器必须实现被解释语言的规则,而不能直接使用宿主语言的 + 运算符,因为后者的溢出和类型转换行为可能有所不同。
变量环境将名称与存储位置关联起来。函数调用通常会创建一个活动记录,其中包含参数、局部绑定和执行状态。采用词法作用域的函数还可以通过闭包,保留对其定义上下文中绑定的访问能力。如果这样的函数在创建它的那次调用结束后仍然存在,其捕获的状态就必须保持可用。具体实现可以在堆上为捕获的绑定分配空间,也可以在必要时将其移到堆上,或使用共享存储单元,使多个闭包都能观察到同一变量的更新。
因此,内存管理是许多解释器不可或缺的组成部分。垃圾回收可以回收那些从活动栈帧、全局绑定及其他根出发已无法访问的对象。引用计数以增量方式跟踪引用关系,但需要额外机制才能回收循环引用。追踪式回收器以更直接的方式识别可达对象,有时需要暂停执行或移动对象。原生扩展会让这两种方法都变得更加复杂,因为解释器常规对象图之外的引用也必须得到正确表示。
控制流同样需要谨慎处理。递归调用、异常、生成器和协程对执行状态提出了不同要求。生成器可能会挂起一个栈帧,而不是将其销毁;异常则可能在执行清理操作的同时展开多个栈帧。如果语言要求支持正确的尾调用,实现就可能需要复用或替换栈帧,而不是让栈帧不断累积。这些行为并非无关紧要的便利功能:它们决定了哪些程序能够在有界空间内执行,以及执行离开某个作用域时会产生哪些效果。
动态编译与自适应执行
许多高性能运行时系统起初会解释执行程序,随后再编译频繁执行的部分。即时编译通常简称为 JIT 编译,它在程序执行期间生成可执行代码。解释器可以充当最初的执行层级,同时收集调用目标、操作数类型、分支行为和执行频率等信息。随后,编译器利用这些信息优化代码,前提是代码未来的预期使用量足以抵偿编译成本。
一种常见的优化是针对运行时观察到的情况,对操作进行特化。通用的属性查找可能需要检查对象的布局并搜索成员。如果多次执行时遇到的对象具有相同布局,内联缓存就可以记录一条更快的查找路径。守卫检查负责确认相关假设是否仍然成立。如果检查失败,执行就会转入通用路径或另一种特化情形。即使不生成原生代码,内联缓存也能提升解释器的性能。
有些系统会对字节码本身进行特化。一条最初执行通用加法的指令,可以被替换为针对反复出现的操作数组合优化过的形式,并在该组合发生变化时回退。2022 年发布的 CPython 3.11 引入了特化自适应解释器,这是其实现方面的一项重大进展。这种特化说明,“解释执行”并不意味着每次执行每项操作时,都必须重复所有可能的检查。
原生代码优化带来了去优化问题。编译后的代码可能假定某个调用目标保持不变,或某个值采用特定的表示形式。如果这些假设不再成立,运行时系统就必须重建一个有效且特化程度较低的状态,通常是一个解释器栈帧。这需要借助元数据,将优化后的机器状态与源代码层面的变量和执行位置关联起来。反方向的执行转移,即从正在解释执行的栈帧转入编译后的代码,通常称为栈上替换。
其他设计则会优化频繁执行路径上的执行轨迹,或利用部分求值来变换解释器。跟踪式系统能够沿特定路径将跨函数边界的操作一并纳入优化视野,但也必须处理实际执行偏离该路径时的退出情况。所有这些方法都需要在启动延迟、编译时间、内存消耗、峰值吞吐量和实现复杂度之间进行权衡。小型嵌入式运行时系统可能会有意避免原生代码编译,而长期运行的服务器则可能从中获得显著收益。适当的平衡取决于工作负载和部署约束,而不是执行技术之间某种普遍适用的优劣排名。
交互式使用与应用嵌入
解释器通常支持读取—求值—输出循环,简称 REPL:接受一个输入单元,对其求值,显示结果,然后重复这一过程。这种交互方式便于尝试,因为无需构建完整的可执行程序,就能测试简短的表达式。运行时通常会在各次输入之间保留环境,使后续命令能够引用先前的定义。不过,交互与解释是两个不同的概念:采用编译方式的实现也可以通过编译每次提交的代码片段来提供 REPL。
交互式执行也会带来特有的语义问题。不完整的函数定义可能需要补充输入,才能完成解析。重新声明一个名称可能会替换其绑定,而已有的闭包仍能访问先前的状态。显示一个值时,可能需要采用语言特有的表示形式,而不是普通的字符串转换。发生错误后,通常必须将控制权交还给命令提示符,而不终止整个会话,同时只保留按照该语言的规则已经发生的状态变化。
命令解释器提供了一种相关但不同的接口。Unix shell 解析命令、执行展开和重定向、执行内置操作,并通过操作系统提供的功能启动外部程序。因此,shell 不仅仅是一种逐行读取命令的机制。它实现了一门具有变量、控制结构、引用规则和进程组合能力的语言。相比之下,仅用于选择固定操作的图形界面或文本界面,不一定是编程语言解释器。
嵌入是指将解释器集成到另一个应用程序内部。宿主程序可以通过应用程序编程接口开放选定的对象和函数,让脚本无需重新构建宿主程序即可定制其行为。Lua、Python 和 Tcl 都是常用于此类场景的语言。游戏可以开放实体移动和事件回调功能;工程应用程序则可以开放测量和绘图操作。解释器负责执行脚本,而宿主程序仍掌控应用程序专用的资源。
外部函数接口将解释执行的代码与其他地方实现的例程连接起来,这些例程通常用 C编程语言编写。这样就能使用数值运算或系统功能,而不必用脚本语言重新实现。不过,这一边界仍要求双方就值转换、对象生命周期、错误传播和线程处理达成一致。例如,如果要传递一个指针,而其指向的对象可能被移动式垃圾回收器重新定位,就需要显式的协作机制。可嵌入性不仅取决于能否调用求值函数,也同样取决于是否具备定义清晰的所有权模型和执行模型。
可移植性、虚拟机与仿真
解释执行可以将程序的执行模型与宿主计算机分离。如果程序以某个抽象指令集为目标,那么在新的宿主平台上,可能只需提供兼容的解释器和运行时服务。这可以减少支持一种语言所需的平台专用工作。当执行模型明确规定整数位宽、异常、内存访问和库行为等细节,而不是将其留给宿主实现决定时,这一优势最为明显。
可移植性有多个层次。字节码文件在不同系统上可能都能按其结构读取,却依赖仅在某个平台上可用的原生扩展。程序可能使用了语言规范规定的特性,却依赖特定的文件路径、字符编码或操作系统行为。即使是保持算术运算的一致性,也需要注意:将语言的整数运算直接映射到宿主整数运算,可能引入非预期的溢出行为差异。解释器是实现可移植性的一种机制,并不保证所有使用它的程序都可移植。
指令集仿真将解释执行应用于为另一种处理器定义的机器指令。仿真器维护客户机的寄存器、程序计数器和内存模型,然后使用宿主操作来实现每条客户机指令。为了确保正确性,可能需要复现条件标志、字节序、对齐规则、异常和特权指令等细节。它与高级语言解释器的主要区别,在于客户机的性质以及必须复现的细节程度。
仿真与虚拟化在实践中有所交集,但并不相同。硬件辅助虚拟化可以让许多客户机指令在受控条件下直接由兼容的处理器执行。相比之下,解释器通过软件实现客户机操作。系统仿真器可以结合使用解释执行、动态二进制翻译和硬件辅助。精确仿真一台完整计算机,还涉及设备、中断、定时器以及与固件的交互,而不仅仅是处理器指令集。
WebAssembly展示了一种支持多种实现策略的现代可移植执行格式。其结构化指令格式和验证规则旨在支持在受控环境中执行,包括网页浏览器和独立运行时。具体实现可以解释执行 WebAssembly,也可以提前编译,或在执行期间编译。因此,与 Java 字节码一样,WebAssembly 本身并不等同于解释执行。可移植的目标格式规定执行必须具有怎样的语义;运行时则选择如何在特定宿主上实现这些语义。
性能与资源的权衡
解释执行的开销并不能用一个固定倍数来概括。它来自多个方面:指令分派、运行时数据结构访问、反复进行的类型检查、内存分配、名称查找,以及无法像编译器那样广泛地进行跨操作优化。一条表示简单算术运算的字节码,执行时可能需要许多条宿主机器指令。反过来,如果一个解释执行的操作调用了大型数值计算例程,那么它的时间可能几乎全都花在经过优化的原生代码上。
一个简单的性能模型将这些开销分开表示:
这里, 是解释执行的指令数, 是这些指令的平均分派开销。各项并非完全独立:分派会影响指令缓存的行为,对象的表示方式会影响内存分配,而特化会同时改变指令数量和操作开销。不过,这个模型仍能说明,为什么对于耗时主要集中在输入输出或原生库中的应用,仅仅减少分派开销可能收效甚微。
解释器通常不会仅仅因为执行了某个算法,就改变该算法的渐近时间复杂度,但在一些重要情况下,实现方式的选择会影响复杂度。通过线性搜索实现的变量查找,与使用哈希表或已解析定位的栈帧槽位实现的变量查找并不相同。在循环中进行字符串拼接,可能会反复复制不断增长的字符串,除非运行时或程序采取措施避免这种模式。任意精度整数运算的开销也取决于操作数的大小,因此,将每条算术指令都视为常数时间操作,可能会掩盖相当可观的开销。
从内存表现来看,解释执行和编译执行各有优势。紧凑的字节码可能比原生代码占用更少的空间,这对资源受限的设备很有用,也可能有利于 CPU 缓存的利用。另一方面,装箱值和在堆上分配的对象,可能比专门优化的原生表示占用更多内存。即时编译器(JIT 编译器)可能消除临时对象,或将值保存在寄存器中,但编译后的代码、性能分析数据和去优化元数据也都各自占用空间。
因此,有意义的比较需要区分启动延迟、稳态吞吐量、峰值内存占用和延迟波动。短时运行的命令可能在动态编译带来的收益足以抵消其开销之前就已结束,而长时间运行的计算循环则可能从中获得显著收益。基准测试还必须说明具体实现、版本、工作负载,以及是否使用原生扩展。如果不交代这些细节就比较两种语言,就可能把库、算法或运行时成熟度方面的差异,错误地归因于解释执行本身。
正确性、隔离与安全边界
解释器必须保持其语言所规定的可观察行为。这不仅包括成功执行的结果,还包括求值顺序、异常、溢出规则以及与外部资源的交互。一个精简的参考解释器可以充当可执行的语言描述,用于对照检验经过优化的实现。不过,只有在语言的治理机制或规范赋予参考实现这一地位时,它才具有权威性;实现中的缺陷并不会自动成为语言的定义。
测试通常会比较不同实现或不同执行层级的执行情况。同一个程序可以分别在解释器中和编译模式下运行,再将两者的差异作为潜在缺陷加以调查。随机程序生成和基于变异的测试能够揭示控制流、数值和语言特性的少见组合。形式验证可以为特定组件确立更强的性质,但证明针对的是特定模型和可信基础。仅仅正确地求值算术表达式,并不能证明语法分析、内存管理、原生库或外围宿主应用程序的正确性。
通过解释器执行代码并不会自动提供沙箱。能够任意打开文件、启动进程或加载原生扩展的脚本,可能拥有相当大的权限。如果代码可以通过对象内省或间接引用重新获取强大的能力,那么仅限制可见名称往往并不足够。安全边界必须涵盖代码访问资源的每一条路径,包括宿主回调、模块加载、外部命令和原生接口。
即使阻止了文件和网络访问,资源耗尽仍然是一个需要关注的问题。不可信代码可能消耗处理器时间、分配内存、进行深度递归,或构造体积过大的输出。运行时可以实施指令预算、内存限制、取消检查或进程级隔离。这些机制需要细致地核算资源消耗:一条解释执行的指令如果调用了运行时间很长的原生函数,就可能绕过仅按字节码分派次数计算的预算。限制必须涵盖实际执行的工作,而不只是可见的语言操作次数。
解释器实现本身也可能包含安全漏洞,尤其是在不可信输入能够进入内存不安全的原生代码时。字节码验证可以在执行前拒绝格式错误的指令序列、无效的跳转目标,或不一致的操作数栈使用方式,但验证是否可靠,取决于其自身实现以及它对后续运行时行为所作的假设是否可靠。当应用程序将可执行文本与不可信数据混合时,源代码级求值函数也会带来注入风险。将数据与代码分离、控制运行时权限以及隔离执行,分别应对不同的失效方式;这些保障都不会仅仅因为选择解释执行而非编译执行就自动具备。