ASCII,即美国信息交换标准代码(American Standard Code for Information Interchange),是一种字符编码标准,为字母、数字、标点符号和控制功能分配数值。它使用七个比特,可表示 个值,编号从0到127。其可打印字符集主要面向英语,包括26个大写拉丁字母、26个小写拉丁字母、十个十进制数字、空格,以及书写和计算机应用中使用的标点符号。其余编码用于换行、设备控制和通信等功能。
ASCII于1963年首次发布,并于1967年进行了大幅修订。它以一种通用的表示方式,帮助取代了各制造商互不兼容的专用编码,使计算机与通信设备之间能够交换信息。ASCII最初是为七比特系统设计的,但其影响远远超出了这类系统。编程语法、文件格式以及许多互联网协议都依赖其字符编码分配。Unicode统一码保留了全部128个ASCII编码值,而UTF-8对这些值的表示采用与ASCII完全相同的单字节序列。
ASCII是一种字符编码,而不是字体、键盘布局,也不是对文本文档的完整描述。它规定了哪些数值代表特定的字符和控制功能;至于这些值如何传输、显示、组合成行,或被解释为指令,则由其他标准和软件决定。
起源与标准化
ASCII 源于计算技术与电报技术的融合。早期计算机普遍使用针对特定制造商、机器或应用而设计的字符编码。电报系统则常用五位编码,包括国际电报字母表第2号;这类编码依靠切换状态,在字母字符集与数字符号字符集之间转换。五位编码只能提供32种组合,因此同一个数值可能代表不同的字符,具体取决于当前的切换状态。这种安排节省了传输资源和设备成本,却使混合文本与计算数据的交换变得更加复杂。
美国标准协会于1960年成立了负责计算机与信息处理的 X3 委员会。其下属 X3.2 分委员会的工作促成了首个 ASCII 标准,编号为 ASA X3.4-1963。罗伯特·W. 贝默在标准化字符编码的制定和推广过程中发挥了重要作用,休·麦格雷戈·罗斯则为相关的国际标准化工作作出了贡献。ASCII 并非某个人的发明,而是委员会综合设备制造商、通信机构和用户需求而制定的成果。
采用七位编码,是在字符集规模与实现成本之间作出的折中。六位编码只有64种组合,不足以同时容纳大写字母、小写字母、数字、标点符号以及数量可观的控制字符。七位编码将容量翻了一番,又无须采用八位字符编码。这种结构也体现了纸带、电传打字机和串行通信的实际需求:在这些技术中,每多传输或存储一位,都会带来显著的成本。
1963年版与后来人们熟悉的编码有所不同。1967年的重大修订确立了小写字母以及如今所见的大部分编码布局。此后的修订进一步明确并维护了这一标准。ANSI X3.4-1986 成为成熟 ASCII 字符集广泛引用的标准编号。标准机构的名称先后从美国标准协会改为美利坚合众国标准学会,再改为美国国家标准学会,这也解释了历史文献中为何会出现不同的机构名称。
国际标准化工作与美国标准的制定同步推进。ISO/IEC 646 将一种与 ASCII 密切相关的七位编码字符结构确立为标准,并规定了各国制定变体的方式。ASCII 成为这一国际标准系列的美国版本,但各国版本并不一定与其完全相同。在跨国交换大量使用标点符号的源代码时,这一区别尤为重要。
ASCII 的普及是逐步发生的,并非所有系统都采用了它。IBM公司于1964年推出 System/360 系列,使用的是 EBCDIC,一种编码分配方式不同的八位编码。尽管如此,ASCII 仍逐渐普及到通信设备、小型计算机,以及后来的微型计算机。它的重要性不在于立即取代了所有竞争编码,而在于成为不同系统之间经久沿用的信息交换规范。
编码空间与可打印字符集
ASCII 共有 128 个码位。其中,33 个是控制字符,对应的值为 0 至 31 以及 127。其余 95 个码位,即 32 至 126,为可打印字符;空格虽然通常不产生可见的印记,也被计入可打印字符。这些字符的编码值通常用十进制、十六进制、八进制或二进制表示。例如,大写字母 A 的十进制值为 65,十六进制为 0x41,八进制为 101,二进制为 1000001。这些只是同一个编码值的不同记法,而不是不同的编码。
主要分区如下:
| 十进制范围 | 十六进制范围 | 内容 |
|---|---|---|
| 0–31 | 00–1F | 控制字符 |
| 32 | 20 | 空格 |
| 33–47 | 21–2F | 标点与符号 |
| 48–57 | 30–39 | 数字 0–9 |
| 58–64 | 3A–40 | 标点与符号 |
| 65–90 | 41–5A | 大写字母 A–Z |
| 91–96 | 5B–60 | 标点与符号 |
| 97–122 | 61–7A | 小写字母 a–z |
| 123–126 | 7B–7E | 标点与符号 |
| 127 | 7F | 删除字符 |
这种排列具有一些实用的数学性质。十进制数字占据一段连续区间,因此,用 ASCII 数字字符的编码值减去 0 的编码值,就能得到该字符表示的数值:
大写和小写字母也各自连续排列。对应的大小写字母相差 32,即十六进制的 0x20:A 为 0x41,而 a 为 0x61。在字母所在的范围内,改变这一二进制位即可转换大小写。不过,不加区分地对任意字符执行同样的操作,并不能作为通用的大小写转换方法,因为它还会改变某些标点符号,也无法实现其他文字系统的大小写转换规则。
ASCII 的标点与符号中,有一些在计算领域尤为重要:圆括号、方括号、花括号、尖括号、引号、撇号、斜杠、反斜杠、下划线、竖线和重音符。这些字符后来在编程语言中占据了突出地位,使其编码分配的重要性远超它们在普通文章中的作用。有些名称容易混淆:ASCII 撇号 ' 并不是排版用的右引号,重音符 ` 也不是排版用的左引号。
该标准规定的是抽象字符,而不是具体字形。字体可以将小写字母 a 显示为单层或双层字形,也可以在零中加斜线或点,以便与大写字母 O 区分,而这些做法都不会改变字符的 ASCII 值。反过来,外观相似的符号也未必是同一个字符。ASCII 中编码值为 45 的连字符兼减号,就不同于 Unicode 中的短破折号、长破折号和数学减号。在注重排版的应用程序与对语法敏感的软件之间复制文本时,这些区别就显得十分重要。
控制字符与终端行为
ASCII 的控制字符集反映了它的起源:用于打印、走纸、纸带打孔或通过通信链路交换消息的设备。控制字符通常不表示可见符号。它们被赋予的含义描述的是操作或结构性功能,但具体设备或应用程序可能只实现其中一部分。单凭编码本身,并不能保证接收控制字符后就会产生某种特定的物理效果。
有几个控制字符与页面和行的排版有关。退格符 BS 的十进制值为 8,水平制表符 HT 为 9,换行符 LF 为 10,垂直制表符 VT 为 11,换页符 FF 为 12,回车符 CR 为 13。在机械式打印机上,回车操作将打印位置移回行首方向,换行操作则使纸张向前移动。由于这是两个独立的操作,另起一行打印可能需要同时执行二者。这种机械上的区别延续至今,体现在不同的换行约定中。
另一些控制字符用于标记消息边界或协调通信。SOH 表示标题开始,STX 表示正文开始,ETX 表示正文结束,EOT 表示传输结束。在赋予 ACK 和 NAK 相应作用的协议中,二者分别表示肯定确认和否定确认。SYN 用于支持同步通信方案中的同步。四个信息分隔符 FS、GS、RS 和 US 原本分别用于分隔文件、组、记录和单元。但它们的存在并不意味着普通的现代文本文件会使用它们作为分隔符。
值为 0 的 NUL 和值为 127 的 DEL 有着尤为独特的历史和后续用途。NUL 可用于在不提供普通可打印字符的情况下填充时间或空间等场景。DEL 的全 1 位模式在穿孔纸带上很有用:将所有孔位都打穿,就能抹去先前打出的字符。在现代软件中,NUL 经常用作字符串的结束标记,而 DEL 则可能作为与删除操作有关的终端输入被生成或解释。这两种现代惯例都未涵盖相应编码的全部历史含义。
四个设备控制字符 DC1 至 DC4 的编码值为 17 至 20。DC1 和 DC3 作为 XON 和 XOFF,广泛用于软件流量控制:接收方可以请求发送方恢复或暂停传输。它们常见的键盘输入方式是 Control-Q 和 Control-S。这些含义属于建立在字符编码分配之上的通信约定,并不适用于这些字节值出现的所有场合。
值为 27 的 ESC 在许多终端系统中用于引入转义序列。按照相应的终端控制标准,以 ESC 开头的序列可以选择颜色、重新定位光标,或擦除部分显示内容。ASCII 本身并未定义这整套命令语言。同样,用 ^G 表示 BEL、用 ^M 表示 CR 等脱字符表示法,是工具和文档所使用的可见表示方式;这种表示由两个可打印字符组成,并不是它所指代的控制字符本身。
存储与传输中的七位数据
ASCII 定义了一套七位编码字符集,但并未规定唯一的物理传输方式或存储格式。一个码值可以通过串行线路传输、存入内存、写入文件,或嵌入更大的数据结构中。必须区分字符所分配的码值与其物理表示形式:将七位 ASCII 存储在八位单元中,并不会改变它所表示的字符集合。
在现代计算机中,一个 ASCII 字符通常存储在一个字节中,最高位设为零。因此,七位表示为 1000001 的字符 A,通常存储为字节 01000001。以这种方式存储的 个 ASCII 字符,在不计文件系统开销或额外格式信息的情况下,需要 个字节。由于每个字符只占一个字节,ASCII 本身不存在字节序问题。字节序涉及多字节数值的表示,与 ASCII 码值内部各位的排列顺序无关。
历史上,串行链路曾采用多种数据位、奇偶校验位和停止位的组合。链路可以传输七个数据位和一个奇偶校验位,使接收方能够检测出某些传输错误。奇偶校验位并不是第八个 ASCII 数据位,而是根据偶校验或奇校验规则,由所传输的数据计算得出的。奇偶校验能够检测出所有影响奇数个受保护位的错误,但既不能纠正错误,也不能检测出所有可能的数据损坏。
常见的记法“8-N-1”表示八个数据位、无奇偶校验和一个停止位。这是一种串行传输的帧格式配置,而不是字符编码。采用这种配置的设备既可以传输 ASCII,也可以传输任意八位数据。反过来,七个数据位的配置无法原样传输所有可能的字节值。即使两台设备名义上都使用 ASCII,帧格式设置不匹配也可能导致文本损坏。
较早的通信通道有时会将每个字节的最高位清零、挪作他用,或无法保留该位。这类通道可以可靠地传输 ASCII,却会破坏需要使用大于 127 的码值的编码。这一限制推动了传输编码的发展:这类编码用范围有限的可打印字符来表示任意二进制数据。例如,Base64 使用 ASCII 字母、数字和少量标点字符来表示成组的二进制位。其基本字符表中的每个字符编码六位数据,因此,不计换行或其他开销时,较长数据序列的大小会增加约三分之一。
ASCII 本身不提供错误检测、压缩、加密或文档结构。仅包含小于 128 的数值的字节序列,虽然与 ASCII 码空间兼容,但其含义仍可能是二进制数据,而非文本。因此,识别编码不仅要检查字节的数值范围,还需要考虑约定和上下文。
编程语言与文本处理
ASCII 深刻影响了编程语言的表层语法。其中的字母用于构成标识符和关键字,数字用于构成数值字面量,标点符号则用作运算符和分隔符。为面向 ASCII 的环境设计的语言广泛使用方括号、花括号、分号、反斜杠等符号,而早期的字符集中并不总是同时具备这些符号。由此形成了一种相互促进的关系:ASCII 支持编程记法,而广泛使用的编程记法又使准确无误的 ASCII 数据交换变得日益重要。
C编程语言既体现了这种关系的影响,也体现了它的局限。C 的字符串字面量使用转义记法,例如以 \n 表示换行、\r 表示回车、\t 表示水平制表。这些都是由语言实现解释的源代码写法;反斜杠后接字母 n 本身并不是 ASCII 换行符。并非所有 C 实现都必须使用 ASCII 作为执行字符集。C 语言保证十进制数字的编码连续,但可移植的 C 代码不能假定所有 ASCII 特有的数值关系都成立,例如对应大小写字母的编码相差 32。
C 也使以 NUL 结尾的字符串产生了尤为广泛的影响。按照这一约定,一个依次包含 C、A、T 和一个值为零的字符的字符数组,就表示字符串“CAT”。NUL 是终止符,而不是字符串中可打印的组成部分,因此,输入数据中嵌入的零字节可能导致字符串处理函数读取到的数据少于其他组件所预期的数据。空字符与空指针是不同的概念,尽管编程术语和某些源代码写法可能让两者看起来有所关联。
ASCII 的编码顺序会影响排序和比较。按编码值升序排列时,数字在大写字母之前,大写字母又在小写字母之前。因此,逐字节比较会将 Z 排在 a 前面,这与通常不区分大小写的字典顺序不符。标点符号也分布在几个彼此分离的编码区间中。数据库或程序库可以改用能够处理大小写、重音符号和特定语言排序习惯的排序规则;这种行为属于额外的文本处理规则,而不是 ASCII 本身的属性。
正则表达式和校验例程经常区分 ASCII 字符类与范围更广的字符类别。在常见的正则表达式系统中,显式范围 [0-9] 匹配十个 ASCII 数字,而 \d 之类的简写则可能匹配其他 Unicode 十进制数字,具体取决于实现和模式。同样,只接受 ASCII 字母与接受所有字母也不相同。对于有意将字符范围限定得较窄的文件格式、标识符和协议,这一区别十分重要。
在明确适用前提的情况下,仅适用于 ASCII 的算术捷径仍然有用,但不能推广到多语言文本。大小写转换、字符计数和文本边界判定,可能都无法仅靠检查单个字节来完成。因此,现代程序库通常会将字节操作、码点操作和考虑语言特性的文本处理区分开来。
互联网协议、文件与行结束符
许多早期互联网协议采用 ASCII,是因为它提供了一套广泛通用的字符,可通过简单的终端和诊断工具查看。命令和响应可以用可读的单词和十进制数字表示,而不必采用特定机器专用的二进制结构。但这并不意味着所有协议都是纯文本协议:文本形式的首部和命令可以与经过编码的内容或二进制内容并存。
简单邮件传输协议(SMTP)在早期采用七位传输模型。其命令和响应使用基于 ASCII 的语法,而后续扩展和邮件格式约定则支持更丰富的内容。因此,电子邮件发展出了将邮件字符集与传输编码区分开来的机制。MIME 可以标明文本部分使用的字符编码,例如 UTF-8,并在传输表示形式有要求时使用 Base64 或 quoted-printable 编码。为传输而对邮件进行编码,与为原始文本选择字符编码,是两种不同的操作。
超文本传输协议(HTTP)同样在其语法的重要部分使用常见的 ASCII 字符,包括方法名、字段名、数字和分隔符。HTTP 表示的内容不必采用 ASCII。一次 HTTP 交互可以传输 UTF-8 文档、压缩归档文件或图像。后续的 HTTP 版本也表明,保留协议的语义并不要求保留面向行的文本传输格式:HTTP/2 和 HTTP/3 使用二进制分帧。
行结束符是一个长期存在的互操作性问题。包括 Linux 在内的类 Unix 系统,通常使用 LF 作为文本文件中的行分隔符。微软 Windows 通常使用由两个字符组成的 CRLF 序列。经典 Mac OS 则使用 CR。这些约定使用了 ASCII 控制字符,但并非全都由 ASCII 本身规定。如果文件在传输时未得到适当处理,显示时就可能出现多余的回车标记,或看起来缺少换行。
网络规范通常会明确选定一种行结束符约定。SMTP 命令行和 HTTP/1.1 的各行均使用 CRLF。将 CR、LF 和 CRLF 视为可互换的软件,可能会与遵循更严格规则的其他组件产生解析分歧。这类分歧造成的后果可能不只是显示不整齐,因为不同组件可能会对消息边界作出不同判断。
在结构化数据中,ASCII 也依然随处可见。JSON 使用 ASCII 标点符号构成其结构语法,但字符串可以包含 Unicode 字符。超文本标记语言(HTML)和 XML 同样使用基于 ASCII 的标记分隔符,同时支持范围广得多的文本字符。外围语法与文档的字符编码是相互关联但又不同的两个层面。
因此,“纯文本”并不意味着“ASCII”。纯文本文件可以使用 UTF-8、其他 Unicode 编码或传统编码。它们采用的换行约定也可能不同,还可能包含控制字符。要实现可靠的信息交换,就必须明确这些细节,而不能假定只要没有富文本格式,就能确定其字节表示形式。
各国变体与八位扩展
ASCII 的字符集不足以满足世界上大多数文字系统的需求,甚至无法涵盖许多使用拉丁字母书写的文本。它缺少 é 等带变音符号的字母、德语字母 ß,以及大多数货币符号和排版符号。它最初的覆盖范围体现的是一套实用的美国信息交换标准,而非书面语言字符的完整集合。为克服这些局限,人们主要采取了两条路径:重新分配七位编码中的部分码位,以及利用八位编码所提供的额外数值。
ISO/IEC 646 允许制定各国变体,使某些码位能够表示当地的重要字符。例如,英国版本将 ASCII 中井号所在的码位用于英镑符号。其他国家的变体则将标点符号码位替换为带变音符号的字母或其他本国字符。这些替换保留了七位编码,但如果不知道使用的是哪一种变体,某些字节值的含义就会产生歧义。
这种歧义对编程尤为棘手。在一种环境中用作花括号或方括号的字符,在另一种环境中可能显示为某个国家使用的字母。C 语言早期采用的三字符序列等编程语言机制,部分目的就是让缺少特定标点符号的字符集也能表示源代码。这类变通办法表明,国际化问题不仅涉及普通文本,也涉及可执行代码的语法。
八位编码提供了 256 个可能的数值。许多编码在数值范围的下半部分保留了 ASCII 的字符分配,并将 128 至 255 用于额外字符。不过,“扩展 ASCII”并不是某一种通用编码的名称,而是对多种互不兼容的方案的非正式统称。相同的高位字节在不同编码下可能表示不同字符,而且有些八位编码还将额外码位保留给控制功能,而非可打印符号。
ISO 8859-1 通常称为 Latin-1,支持许多西欧语言。它补充的可打印字符占据十六进制 A0 至 FF,而 80 至 9F 的码位属于 C1 控制区,并不是另一个图形字符区块。Windows-1252 保留了 Latin-1 的大部分字符分配,但将上述中间区段的若干码位分配给可打印字符,包括排版引号和欧元符号。因此,将这两种编码混用可能造成可见的显示错误。
IBM PC 代码页采用了另一套做法。437 代码页在其数值范围的上半部分收录了带变音符号的字母、制表符以及数学符号和其他符号。其软硬件环境还可以在某些低数值字符码位上显示图形符号。这些显示惯例并不意味着 ASCII 的控制字符被重新定义为可在所有环境中打印的图像。
由于这些编码共享基本的 ASCII 范围,简单的英文文本往往可以在它们之间原样传递。当文本使用额外字符时,编码间的不兼容性才会显现出来。仅含 ASCII 字节的文件无法提供任何依据来区分几种兼容 ASCII 的编码;而包含较高数值字节的文件,则需要编码标识或其他上下文信息才能得到可靠解读。
Unicode 兼容性、安全性与持续应用
Unicode 将 ASCII 纳入其最前面的 128 个码位,范围为 U+0000 至 U+007F。因此,大写字母 A 的 ASCII 值为 65,Unicode 码位则为 U+0041。这种保留指的是字符本身及其数值分配保持不变,并不意味着所有 Unicode 编码都使用相同的字节来存储这些字符。UTF-16 和 UTF-32 使用更宽的码元,而 UTF-8 则保留了 ASCII 原有的单字节表示方式。
UTF-8 的设计使这种兼容性尤其实用。每个 ASCII 字符都编码为一个字节,取值范围为 0x00–0x7F。组成 UTF-8 多字节序列的所有字节,其最高位均为 1。因此,在另一个字符的有效多字节编码中,不可能隐藏着一个 ASCII 字节。程序在有效的 UTF-8 文本中查找 ASCII 斜杠或换行符时,不会意外匹配到后续字节。这一特性简化了多种分隔符处理操作,但仅凭这一点,并不能让整个解析器具备正确处理 Unicode 的能力。
这种兼容性是单向的:任何有效的 ASCII 字节序列都是有效的 UTF-8,但大多数 Unicode 文本无法用 ASCII 表示。包含希腊文、阿拉伯文、中文,甚至许多带变音符号的拉丁字母的 UTF-8 文本,都会含有超出 ASCII 范围的字节。将不支持的字符替换为问号会丢失信息;转写得到的也只是近似表示,而不是可逆的字符编码。
对编码的解释不一致也会影响网络安全。如果一个组件按照某种解释来验证字节,而另一个组件以不同方式解释这些字节,两者就可能对分隔符、字符串结尾或消息边界产生分歧。嵌入的 NUL 字符以及不一致的换行处理方式,都是反复出现的例子。终端转义序列则带来了另一类问题:未经信任的文本如果直接发送到会解释其内容的终端,就可能被当作终端指令执行,而不只是显示出来。这些问题源于编码、协议与软件行为之间的相互作用,而不是 ASCII 本身固有的某一项缺陷。
将标识符限制为 ASCII,可以排除许多外观容易混淆的 Unicode 字符,但并不能消除歧义或注入问题。ASCII 本身就包含形状容易混淆的字符,例如小写字母 l、大写字母 I 和数字 1,也包含许多命令语言使用的引号和标点符号。安全性取决于针对具体上下文进行的解释与验证,而不只是取决于字符集本身。
ASCII 也继续被用作一种刻意限制表现手段的艺术媒介。ASCII 艺术利用字母、标点符号和空格来构成图画、图表及装饰性文字,通常依赖等宽字体显示。使用旧式 PC 代码页或 Unicode 中的框线字符制作的图像,在日常用语中也常被称为 ASCII 艺术,尽管严格来说它们并非 ASCII。在协议语法、源文件、诊断输出和文本界面中,最初的七位字符集仍然提供着一组规模小而稳定的字符,其编码分配为极其广泛的系统所共用。