字符编码是一套将文本表示为数值的体系,使计算机能够存储、处理和传输文本。它将字母、数字、标点符号和控制字符等抽象字符,与由比特和字节构成的表示形式联系起来。例如,一种编码会规定字母“A”是否用十六进制字节值 41 表示,以及“é”或“中”这样的字符如何表示。如果没有约定一致的编码,同样的字节就可能被解读为不同的文本。
字符编码是数字通信的基础,因为文本需要在不同设备、应用程序、语言以及不同时代的计算机系统之间流通。早期编码是为有限的字母表和特定设备设计的;后来的标准逐渐支持各国的文字系统,而Unicode统一码则为多语言文本建立了一套通用的字符集合。不过,要正确处理文本,仅仅选择 Unicode 还不够:还需要考虑序列化、编码声明、转换、验证,以及字符、可见符号和存储单位之间的区别。
字符、码位与编码后的数据
字符是用于表示书面信息的抽象元素。它不一定是一个完整的可见符号,也不等同于某种特定的印刷形状。拉丁字母“A”在许多字体中都是同一个编码字符,而拉丁字母“A”和外观相似的西里尔字母“А”则是不同的字符。字形是用来显示一个字符或字符组合的视觉形式。渲染系统在解析编码文本后,会选择字形并确定其位置。
字符集规定了系统能够识别哪些抽象字符。编码字符集为这些字符分配数值位置,称为码位。Unicode 通常用 U+ 后接十六进制数字来表示码位:拉丁大写字母 A 的码位是 U+0041,欧元符号的码位是 U+20AC。码位是编码空间中的一个数值;并非每个可能的码位都一定分配了字符。这些区别很重要,因为向标准中添加一个字符,与为现有字符的数值设计一种新的存储方式,是两回事。
字符编码形式将字符或码位映射为码元序列。码元是该编码形式所使用的基本数值单元:UTF-8 的码元为八位,UTF-16 的为十六位,UTF-32 的为三十二位。编码方案则进一步规定如何将码元转换为字节,并在必要时规定字节序。日常用语往往将这几个层次统称为“编码”。因此,“UTF-16”既可能指程序内部以码元为单位的表示形式,也可能指需要另行确定字节序的序列化数据。
编码将文本转换为编码表示;解码则将这种表示解释为文本。对于受支持的字符串 ,正确配对的编码器 和解码器 通常满足
这一性质取决于字符集和错误处理策略。将汉字编码为西欧语言的单字节编码时,如果该编码中没有对应字符,就无法保留这个汉字。反过来,任意字节也不一定能作为某种解码器的有效输入。因此,字符编码既不是通过密码学变换保护信息的加密,也不是旨在获得更紧凑表示的数据压缩。它的主要目的是建立一种可互操作的文本表示方式。
电报码与早期计算机标准
字符的数字化表示早于电子计算机。19 世纪的电报系统为字母和操作命令分配信号。摩尔斯电码采用长短信号的变长组合,而埃米尔·博多在 19 世纪发明的电报码则采用五单元组合。在这一技术传统后续发展的基础上衍生出的第二号国际电报字母表,后来广泛用于电传打字机。五个二进制位只能提供 种组合,因此需要通过换挡信号,在字母集和数字符号集之间切换。由此,同一个接收码型可能因当前换挡状态不同而具有不同含义。
早期计算技术沿袭了电报、穿孔卡片、打印机以及当时可用硬件的种种限制。字符表示方案往往侧重于大写字母、数字和少量标点符号。字长和输入设备影响了字符在内存中的排列方式。例如,六位编码可以表示 64 个值,也便于适配历史上多种机器字格式。这些方案在受控的单一计算环境中很实用,却不太适合在不同厂商的系统之间交换不受字符范围限制的文本。
美国信息交换标准代码(ASCII)于 1963 年首次发布,并在 1967 年进行了重大修订,确立了一套具有 128 个码位的七位编码。其编码布局包括控制字符、空格、标点符号、数字、大写字母和小写字母。十进制数 65,即十六进制数 41,表示“A”;十进制数 97,即十六进制数 61,表示“a”。回车、换行和转义等控制字符反映了终端及通信设备的操作方式。它们的影响至今仍体现在行结束约定和终端控制协议中。一个八位字节可以存储一个 ASCII 字符,同时留出一位用于奇偶校验或后来的扩展等用途。
ASCII 并未成为唯一重要的计算机编码。IBM公司于 1964 年随 System/360 系列推出了扩展二进制编码的十进制交换码(EBCDIC)。它的编排方式与 ASCII 不同,字母字符的位置也不相同。EBCDIC 随后发展为一系列代码页,至今仍在大型机环境中使用。ASCII 和 EBCDIC 都不只是字体选择方案:在两者之间交换字节数据,需要进行字符转换。
国际标准化也暴露了小型编码空间的局限。ISO 646 提供了一个七位编码框架,允许各国变体将选定的字符替换为本地所需的符号。同一个字节在某种变体中被解释为标点符号,在另一种变体中却可能表示带重音符号的字母。这类折中方案满足了本地使用的需要,却使国际信息交换变得复杂,也推动了更大字符集的采用,以及对编码方式更明确的标识。
传统编码体系与区域需求
八位编码最多可以分配 256 个不同的字节值。许多早期系统在 00–7F 位置保留 ASCII,并将字节取值范围的高半区用于其他字符。ISO 8859 系列也遵循这一总体模式,由不同部分满足不同文字系统的需求。ISO 8859-1 通常称为 Latin-1,支持许多西欧语言,但并未包含这些语言后来所需的所有字符,尤其是欧元符号。其他地区和文字系统则需要使用各自的编码。
代码页是编码值与字符之间的一套特定映射,通常以编号或注册名称标识。DOS 代码页 437 包含了适用于文本模式界面的制表符号和其他符号。Windows-1252 用于西欧语言文本,但其高位字节区的映射有所不同。虽然 Windows-1252 常与 ISO 8859-1 混淆,但它在 80–9F 范围内的许多位置分配了可打印的标点和符号,而 ISO 8859-1 在这些位置分配的是控制字符。因此,旧文档中的引号和破折号在被误按另一种编码解码时,有时会变成控制字符或意料之外的符号。
包含数千个字符的文字系统需要采用多字节编码方案。Shift_JIS 和 EUC-JP 成为日文的重要编码;Big5 广泛用于繁体中文;GB2312、GBK 和 GB18030 则先后满足了中文文本不断发展的需求。这些编码体系在字符收录范围、字节结构和兼容性方面各不相同。例如,Shift_JIS 将单字节字符与双字节序列结合使用。GB18030 使用一字节、二字节或四字节序列,其覆盖范围远超早期的中文编码。因此,“中文编码”或“日文编码”并不是足够精确的技术名称。
有些编码不仅长度可变,还具有状态。ISO-2022-JP 使用转义序列在指定字符集之间切换,使日文文本能够通过仅支持七位数据的环境传输。一个字节的含义可能取决于此前出现的转义序列,因此,即使某个片段取自有效文本,单独解码该片段也可能失败。与那些能根据局部字节识别字符边界的编码相比,这类编码的随机访问、截断以及传输错误后的恢复都更为复杂。
传统编码在档案、工业设备、大型机、旧版软件和既有文档集中仍然十分重要。转换表并非总能保证完全可逆:不同的源字符可能映射到同一个目标字符,而不同厂商的变体也可能为名义上相似的编码赋予不同含义。用户自定义字符区和专用字符区还会带来额外的不确定性,因为这些字符的预期字形可能取决于本地字体或组织内部的约定,而非公开的交换标准。
Unicode 与通用字符集
Unicode 的开发旨在以一个通用框架取代彼此割裂的字符集,支持多种书写系统的文本。其首个版本于 1991 年发布。此后,其字符集与架构逐步与 ISO/IEC 10646(通用编码字符集)协调统一。Unicode 并不是一种单一的字节编码:它定义字符的身份、码位、属性以及文本处理行为,而 UTF-8、UTF-16 和 UTF-32 则提供了将其标量值表示为编码单元的主要方式。
Unicode 代码空间从 U+0000 延伸至 U+10FFFF,共有 1,114,112 个码位,分布在 17 个平面中,每个平面有 65,536 个位置。第 0 平面是基本多文种平面,包含许多常用的文字和符号。其他平面容纳更多文字、符号以及大规模的表意文字集合。U+D800–U+DFFF 范围保留给代理码位使用。Unicode 标量值是指代理码位范围之外的任意 Unicode 码位;标量值是标准 UTF 编码能够合法表示的单位。
Unicode 将具有语言或文本身份的字符与其呈现形式区分开来。字体可以用不同风格显示同一个字符,而上下文塑形可能使一个字符具有不同的可见形式。反过来,有些可见单位需要由多个编码字符组成,例如一个字母后接一个组合重音符。该标准还为非打印字符分配了码位,包括方向控制符、连字控制符和变体选择符。这些字符虽然不会产生独立可见的标记,却能影响文本的解释或呈现。
汉字统一是体现这一字符集设计原则的重要例子。对于许多相互关联的中文、日文和韩文表意文字,如果标准将其视为同一个抽象字符,它们便共享同一编码身份。符合各地区惯例的字形通常通过字体和能够根据语言调整的渲染来处理。这并不意味着所有不同字符都会被合并,而变体机制也提供了表示某些标准化字形差异的方法。这种做法将字符身份与排印形式分离,不过,需要精确呈现历史字形或地区字形的应用程序,可能还需要单纯的码位序列之外的信息。
Unicode 包含私用码位,其含义由使用者之间的约定确定,而非由标准规定。它还为内部用途保留了非字符,并留下大量未分配码位,以供将来增补。其稳定性政策可防止码位重新分配对现有文本造成破坏。Unicode 不定义通用字体,不保证显示支持,也不为每一种文本操作规定统一的语言学解释。字符分配、渲染支持、特定语言的拼写规则和应用程序行为仍然是彼此独立的层面。
UTF-8、UTF-16 和 UTF-32
UTF-8编码使用一到四个字节表示 Unicode 标量值。它由肯·汤普森和罗布·派克于 1992 年开发,保留了 ASCII 的字节值:U+0000–U+007F 各占一个字节。其他标量值占两个、三个或四个字节。字节开头的比特模式用于区分起始字节和后续字节,后续字节的二进制形式以 10 开头。ASCII 字节不可能出现在多字节 UTF-8 序列的内部,因此可以识别 ASCII 标点,而不会将非 ASCII 字符的一部分误认作 ASCII 分隔符。
例如,“A”编码为 41,位于 U+00E9 的“é”编码为 C3 A9,位于 U+4E2D 的“中”编码为 E4 B8 AD。位于 U+1F600 的字符“😀”则编码为 F0 9F 98 80。对于以 ASCII 字符为主的文本,UTF-8 的表示较为紧凑,而且没有字节序差异。其结构还支持在任意字节位置附近重新确定字符边界,但这并不意味着可以省去输入验证,也不意味着在分块流式处理时无需保留尚不完整的序列。
UTF-16编码使用一个 16 位码元表示基本多文种平面中的大多数标量值,并使用一对码元表示增补字符。对于增补码位 ,令 。高位代理项和低位代理项分别为
因此,U+1F600 表示为码元对 D83D DE00。孤立的代理项不是 Unicode 标量值,也不符合 UTF-16 的格式要求。早期的 UCS-2 使用单个 16 位值表示字符,不具备 UTF-16 用于表示增补字符的机制。
UTF-32编码使用一个 32 位码元表示每个 Unicode 标量值。每个标量值所占码元数固定,简化了某些针对标量值的操作,但这并不意味着用户感知到的每个字符都只占一个单元:组合字符序列和表情符号序列仍可能包含多个标量值。此外,UTF-32 表示一个 ASCII 字符需要四个字节,而 UTF-8 只需一个。因此,存储效率取决于文本内容和表示方式。对于基本多文种平面(BMP)中的常用汉字,UTF-8 通常使用三个字节,UTF-16 则使用两个字节;对于增补字符,两者都需要四个字节。
下表中的数值展示了这些差异。UTF-16 和 UTF-32 栏列出的是码元,并未假定任何字节序。
| 字符 | 码位 | UTF-8 字节 | UTF-16 码元 | UTF-32 码元 |
|---|---|---|---|---|
| A | U+0041 | 41 |
0041 |
00000041 |
| é | U+00E9 | C3 A9 |
00E9 |
000000E9 |
| 中 | U+4E2D | E4 B8 AD |
4E2D |
00004E2D |
| 😀 | U+1F600 | F0 9F 98 80 |
D83D DE00 |
0001F600 |
字节序、编码声明与传输协议
多字节码元需要有明确的字节排列规则。字节序区分大端存储和小端存储:前者将最高有效字节放在最前,后者则将最低有效字节放在最前。UTF-16 码元 0041 在 UTF-16BE 中序列化为 00 41,在 UTF-16LE 中则序列化为 41 00。UTF-32 使用四字节码元,也存在同样的问题。UTF-8 直接以单个字节为单位进行处理,因此没有大端或小端之分。
字节顺序标记是放在数据流开头、用作编码签名的字符 U+FEFF。在 UTF-16 中,它表现为 FE FF 或 FF FE,由此表明字节序。在 UTF-8 中,它的字节序列为 EF BB BF;这些字节能够标识 UTF-8,但不传达任何字节序信息。在某些文件格式中,起始签名很有用,在另一些格式中却可能造成干扰。具体如何处理取决于文件格式:无法识别该签名的程序,可能会将其当作第一个预期字符之前的内容。UTF-16LE 和 UTF-16BE 等明确的编码标签直接指定了字节序,无须依赖这种检测方式。
编码信息通常以元数据的形式携带,而不是编码在每个字符中。超文本传输协议(HTTP)可以通过 Content-Type: text/html; charset=utf-8 这样的首部声明文本表示所用的编码。超文本标记语言(HTML)也支持在文档内部使用 <meta charset="utf-8"> 这样的声明。XML 则有编码检测规则,并允许使用可选的编码声明。仅凭文件扩展名,通常无法确定纯文本文件的编码。当声明相互冲突时,其优先级由相关格式或协议规定;并不存在一条适用于所有文本类型的统一规则。
在电子邮件中,字符编码和传输编码属于不同的层次。MIME 的 charset 参数标明文本字节如何表示字符。Base64 和 quoted-printable 则对这些字节进行转换,以便通过对行长度或字节值有限制的系统进行传输。接收方先还原传输编码,再使用字符编码对得到的字节进行解码。混淆这些步骤,可能导致文本在某一层仍处于编码状态,或被重复解码。
现代数据交换格式往往会限制允许使用的编码,以减少歧义。根据 JSON 的互操作性规范,在封闭生态系统之外的系统之间交换 JSON 时,必须使用 UTF-8。其他协议则出于历史原因保留了多种编码。已注册的字符集名称及其别名有助于系统识别这些编码,但某个标签的确切含义可能取决于使用它的标准。例如,兼容 Web 的解码方式会有意按照兼容性规则处理若干历史标签,而不只是照搬它们原有的标准。
编码之外的文本处理
编码决定文本如何表示,却不决定用户能看到多少个有意义的“字符”。“字符”一词可能指字节、码元、Unicode码点或字素簇,而这些单位对应的数量并不相同。视觉上呈现的“é”既可以表示为 U+00E9,也可以表示为 U+0065 后接组合尖音符 U+0301。后一种表示包含两个码点,但通常构成一个扩展字素簇。一个家庭表情符号可能包含多个由零宽连接符连接的象形符号,并在支持这种组合的字体中显示为一个视觉单元。
Unicode规范化为某些等价序列提供一致的形式。NFD 执行规范分解;NFC 先执行规范分解,再在允许的情况下执行规范组合。NFKD 和 NFKC 还会应用兼容映射,这可能消除某些呈现形式或格式变体之间的差异。“é”的预组合表示和分解表示经过适当的规范等价性规范化后会变得相同。兼容规范化的处理范围更广,可能改变对专门记法或文档保存而言重要的区别。因此,规范化有其明确的语义适用范围,并不是一种在所有情况下都无损的清理操作。
字符串长度和索引取决于编程环境采用的表示方式。JavaScript 字符串使用 UTF-16 码元序列,因此,尽管 "😀" 只包含一个 Unicode 标量值,"😀".length 的值却是 2。Python 3 的普通字符串长度按码点计算,因此对应的长度为 1。这两种规则本身都不能衡量显示宽度或用户感知的字符数量。文本编辑器和用户界面在移动光标和删除文本时,往往需要使用能够识别字素的边界;终端布局还可能取决于字符宽度约定和渲染行为。
排序和大小写转换也超出了编码的范畴。UTF-8 按字节排序时,能够保持标量值的数值顺序,但按码点数值排列通常并不适合作为字典顺序。排序规则采用与语言相关的规则,并可能在不同的比较层级处理重音、大小写或字母组合。大小写转换并不总是单个字符之间的替换:Unicode 大小写折叠可以将德语“ß”映射为 ss,而土耳其语的大小写转换则区分字母 I 的带点形式和不带点形式。因此,数据库可以存储 UTF-8 文本,同时使用独立选定的排序规则进行比较和建立索引。
视觉显示还需要进一步处理。双向文本算法负责处理从左向右与从右向左书写的混合文本,而字形塑形系统则选择与上下文相应的字形和连字。编码后的文本通常按逻辑顺序存储,而不是简单地按屏幕上字形从左向右的顺序存储。更改字节编码并不能翻译语言、补上缺失的字体、修复所有异常换行,也不能完成这些更高层次的排版操作。
检测、转换与文本损坏
缺少编码声明时,程序可能会尝试推断编码。有些依据来自数据结构:字节顺序标记可以识别某种 Unicode 表示形式,也可以通过检验字节序列是否符合 UTF-8 规则来判断。另一些依据则来自统计特征,例如某种语言中字母的预期出现频率或常见的字节模式。编码检测通常无法得出确定结论。仅包含 ASCII 字母的文件既是有效的 ASCII,也符合 UTF-8 以及多种兼容 ASCII 的旧式编码。许多较短的字节序列在多种编码下都能得到看似合理的解释。
乱码是指使用错误的字符编码解释已编码数据后产生的错乱文本。UTF-8 字节 C3 A9 原本表示“é”,但按 Windows-1252 解码后就会变成“é”。如果再将这一错误结果保存为 UTF-8,损坏就会多叠加一层编码转换。在确切知道转换过程且没有信息被丢弃的情况下,这类错误有时可以逆转。如果不还原这些转换过程,而只是猜测替换规则,就可能误改那些恰好看起来像乱码的正常文本。
转码通常包括两个步骤:先将源字节解码为内部字符表示,再用目标编码对这些字符进行编码。这两个阶段都可能出错。解码器可能遇到格式错误的输入;编码器则可能遇到目标字符集中不存在的字符。常见的实现通常提供严格报错、替换或忽略等处理方式。Unicode 解码器常用替换字符 U+FFFD 处理格式错误的输入。具体的替换行为,包括消耗多少个输入字节,取决于编码算法及适用的标准。
替换和忽略可能会破坏原本可以恢复的信息。一旦多个不同的无效序列都被替换成 U+FFFD,就无法仅凭这个字符推断出原始字节。同样,用 ? 替换不受支持的字符,也无法保留该字符的身份。有些系统提供专门的机制来保留无法解码的字节,但这些机制有别于普通的、可互操作的 Unicode 文本。因此,归档保存的源字节可能包含某些信息,而经过解码并重新保存的文本版本已不再保留这些信息。
流式处理还会带来另一类边界问题。即使完整的数据流是有效的,网络数据包或输入缓冲区也可能恰好在一个多字节序列的中间结束。增量解码器会保留尚待处理的字节,直到更多输入到来,并且只在必要时,例如输入真正结束时,才报告序列不完整。对于有状态的旧式编码,可能还需要保留移位状态。如果把任意划分的每个缓冲区都当作独立的文本文档来处理,就可能引入源数据中原本没有的替换字符,或产生误报错误。
验证、安全与系统接口
当各组件对字节含义的理解不一致时,编码错误就会演变为安全问题。过滤器可能依据一种解释检查输入,而后续解析器却依据另一种解释处理输入。早期的一些 UTF-8 实现会接受过长编码,即用超出规定数量的字节来表示一个字符。例如,ASCII 斜杠的有效 UTF-8 表示是 2F;字节序列 C0 AF 并不是另一种有效表示。如果一个组件拒绝直接出现的斜杠,另一个组件却将这一格式错误的序列识别为斜杠,两者之间的分歧就可能使路径检查失效。符合规范的 UTF-8 验证会排除过长序列、代理码点,以及大于 U+10FFFF 的值。
即使输入格式正确,规范化与比较规则也可能造成类似的不一致。两个字符串可能看起来相同,或在规范意义上等价,但其字节却不同。如果系统在检查标识符时采用一种等价关系,而在存储或检索时采用另一种,就可能导致冲突或不一致的授权判定。反过来,如果把外观相似的文本一律视为相同,也可能将本来不同的名称合并。编码有效性、规范等价性、语言学意义上的相等性,以及视觉相似性,是彼此独立的属性。
Unicode 还收录了分属不同文字系统、外观却可能相似的字符。拉丁字母“a”和西里尔字母“а”虽然在许多字体中看起来相似,但码点并不相同。这类易混淆字符与网络钓鱼、国际化域名和欺骗性标识符等问题有关。双向文本控制字符还可能使源文本的显示顺序与编译器处理的顺序不同。2021 年的“Trojan Source”研究引发了人们对这类源代码显示问题的关注。这些问题涉及对有效文本的解释和显示,而不只是格式错误的编码。
系统接口还带来了其他区别。在C编程语言中,许多字符串接口以零字节作为终止符,而 Unicode 字符串可以合法地包含 U+0000。因此,将以长度界定的文本传入以空字符终止的接口,可能导致文本被截断。字节缓冲区以字节计的容量,也不能与它能容纳的字符数或 UTF-16 码元数混为一谈。转换过程中作出的错误假设,可能导致截断和缓冲区溢出缺陷。不同操作系统的做法也有所不同:许多 Unix 接口将路径名作为字节序列提供,而 Windows 通常提供基于 UTF-16 的宽字符接口。
要求字节完全一致的完整性校验又提出了另一项要求。密码散列函数或数字签名针对的是确定的字节,因此,即使显示出来的文本看似没有变化,只要改变编码、规范化形式、字节序标记或行结束符,结果通常就会改变。因此,对文本信息进行签名的协议必须明确规定其序列化表示,或给出精确的规范化处理流程。在这些边界上,保持含义不变与保持字节不变,是相互关联但又不同的要求。