UTF-8 是一种字符编码,以一至四个字节的序列表示 Unicode统一码文本。它保留了每个美国信息交换标准代码字符的单字节表示形式,同时支持 Unicode 标量值的完整范围,涵盖现代及历史书写系统中的字符、数学符号和表情符号。其名称指的是一种代码单元宽度为八位的 Unicode 转换格式。
UTF-8 是万维网上文本交换的主流编码,也广泛用于软件、结构化数据格式、网络协议和文本文件。它的重要性在于兼具广泛的字符覆盖范围和实用的工程特性:兼容 ASCII、不受字节序影响、字符边界可识别,以及每个 Unicode 标量值都只有一种有效编码。这些特性有助于实现互操作,但并不意味着可以忽略字节与字符的区别、传入数据的有效性验证,或文本的语言结构。
Unicode 字符、码点与码元
UTF-8 是 Unicode 的一种编码方式,而不是另一套字符集。Unicode 为字符以及几类特殊用途的值分配数值位置,称为码点。码点通常以 U+ 为前缀书写,例如 U+0041 表示拉丁大写字母 A,U+03B1 表示希腊小写字母 alpha,U+1F600 表示咧嘴笑脸表情符号。UTF-8 规定了如何将这一数值空间中符合条件的值转换为字节。
Unicode 码点的范围从 U+0000 到 U+10FFFF,共有 1,114,112 个可能的位置。其中,U+D800–U+DFFF 区间保留给代理码点,它们在 UTF-16 中具有特殊作用。Unicode 标量值是指不在该代理区间内的任意 Unicode 码点。因此,共有 1,112,064 个可能的标量值,不过其中许多尚未分配给抽象字符。标准 UTF-8 编码的是标量值,而不是孤立的代理码点。
码元是编码的基本存储单位。在 UTF-8 中,一个码元就是一个八比特的字节,在协议规范中常称为八位组。一个 Unicode 标量值占用一至四个这样的单位。这一点使 UTF-8 有别于码元宽度为 16 比特的 UTF-16编码和码元宽度为 32 比特的 UTF-32编码。各编码名称中的数字描述的是其码元的大小,而不是每个字符所需的比特数。
Unicode 还区分字符的数值身份与其外观。字体和文本渲染系统决定可见的字形,而语言、上下文和排版规则可能影响这些字形的选择与定位。UTF-8 不规定字体、手写风格、换行方式或文本的显示方向。它所编码的值由更高层的文本系统解释。
码点与读者感知到的字符之间也未必是一一对应的关系。一个字母后接一个组合重音符号,就包含多个码点;一个表情符号序列也可能包含多个独立编码的组成部分。反过来,排版中的连字可能用一个字形显示多个字母。因此,理解 UTF-8 时,需要区分四个层次:编码后的字节、Unicode 标量值、被感知为字符的文本单元,以及渲染出的形状。
起源与标准化
UTF-8 的诞生,是为了解决如何在基于八位字节和 ASCII 构建的软件中引入通用字符集的问题。早期各国和地区使用的编码能够高效地表示特定文字系统,但在不同系统之间交换文本时,往往需要知道这些字节是由哪种编码生成的。同一个字节值在不同编码中可能代表不同的字符,而某些多字节编码还允许非 ASCII 字符的编码中包含取值落在 ASCII 范围内的字节。
1992 年 9 月,肯·汤普森和罗布·派克在开发 Plan 9 的过程中设计了 UTF-8。Plan 9 是贝尔实验室开发的一款研究型操作系统。UTF-8 的设计借鉴了此前针对 ISO/IEC 10646 字符集开展的文件系统安全转换方案研究。其核心实际目标是支持大得多的字符集,同时确保普通 ASCII 文本、文件名和常见的文本处理惯例仍能兼容现有软件。
汤普森和派克在 1993 年冬季 USENIX 会议上发表的论文《Hello World》介绍了 Plan 9 处理国际化文本的方法。Plan 9 证明,操作系统及其工具可以采用 UTF-8,同时在适当的地方保留面向字节的接口。ASCII 标点符号和路径分隔符仍可直接识别,非 ASCII 字符则使用 ASCII 范围之外的字节值。不过,对于那些在程序逻辑中假定一个字节始终代表一个字符的程序,仍然需要进行修改。
早期 UTF-8 规范允许最长六个字节的序列,这反映了通用字符集早期研究中设想的更大的数值编码空间。1996 年 10 月发布的 RFC 2044 记载了这种形式;1998 年 1 月,RFC 2279 取代了它。2003 年 11 月通过互联网工程任务组发布的 RFC 3629 将 UTF-8 限制在以 U+10FFFF 为上限的 Unicode 范围内,因此最长只需四个字节。该规范还明确排除了代理码点。
现代 UTF-8 由 Unicode 标准和 ISO/IEC 10646 规定,而 RFC 3629 则是其在互联网应用中的核心规范。理解旧版资料时,需要注意这些历史上的范围限制:包含五字节或六字节 UTF-8 序列的表格描述的是一种已废弃的形式,而不是现行编码中额外有效的表示方式。后续 Unicode 版本会在现有的标量值空间内为新字符分配码位,而不会改变 UTF-8 的基本字节结构。
字节模式与编码构造
UTF-8 将标量值划分为四个数值范围。ASCII 范围内的值使用一个字节。更大的值使用一个指示序列长度的起始字节,后接一、二或三个后续字节。每个后续字节都以二进制前缀 10 开头,其余六位用于承载所编码的值。
| Unicode 标量值范围 | UTF-8 字节模式 | 长度 |
|---|---|---|
U+0000–U+007F |
0xxxxxxx |
1 字节 |
U+0080–U+07FF |
110xxxxx 10xxxxxx |
2 字节 |
U+0800–U+FFFF,不含代理码点 |
1110xxxx 10xxxxxx 10xxxxxx |
3 字节 |
U+10000–U+10FFFF |
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
4 字节 |
x 所在的位置以二进制形式承载标量值,有效数据位按从高位到低位的顺序排列。这四种形式分别可承载 7、11、16 和 21 位有效数据。由于 Unicode 的上限为 U+10FFFF,21 位有效数据并非所有组合都允许使用;同样,三字节形式也不能编码代理码点。每个标量值都必须使用能够表示它的最短形式。
例如,字母 A 的码点为 U+0041,编码后是单个十六进制字节 41。字母 é 的码点为 U+00E9,编码后为 C3 A9。欧元符号 € 的码点为 U+20AC,编码后为 E2 82 AC;咧嘴笑脸 😀 的码点为 U+1F600,编码后为 F0 9F 98 80。因此,文本 A€😀 包含三个标量值,但在 UTF-8 中占用八个字节。
编码过程可以用移位和掩码运算来描述。对于需要两个字节的标量值 ,各字节的值为
其中, 表示右移, 表示按位与, 表示按位或。三字节和四字节序列将该值的低位有效数据依次分成每组六位,剩余的高位则放入起始字节。
编码长度可表示为
其中,函数的定义域不包含代理码点。输出仅取决于标量值,与文本使用的语言、字体或机器架构无关。
有效性规则与解码错误
识别首字节的大致模式是验证 UTF-8 有效性的必要条件,但仅凭这一点还不够。符合规范的解码器还必须确保每种长度的序列所表示的值不低于其下限,排除代理码点,拒绝大于 U+10FFFF 的值,并检查所有必需的后续字节是否齐全。这些约束确保每个标量值都恰好只有一种有效的 UTF-8 表示。
完整的限制条件可归纳为下表中的允许字节范围。所有数值均为十六进制。
| 序列长度 | 第一字节 | 第二字节 | 其余字节 |
|---|---|---|---|
| 1 | 00–7F |
— | — |
| 2 | C2–DF |
80–BF |
— |
| 3 | E0 |
A0–BF |
80–BF |
| 3 | E1–EC, EE–EF |
80–BF |
80–BF |
| 3 | ED |
80–9F |
80–BF |
| 4 | F0 |
90–BF |
两个字节,均为 80–BF |
| 4 | F1–F3 |
80–BF |
两个字节,均为 80–BF |
| 4 | F4 |
80–8F |
两个字节,均为 80–BF |
字节 C0 和 C1 不能作为有效序列的开头,因为它们可能产生的结果都是 ASCII 值的过长编码。字节 F5 至 FF 也被禁止使用。如果后续字节之前没有相应的首字节,该字节就是无效的;完整输入末尾出现的不完整序列也同样无效。例如,C0 AF 并不是 / 的另一种合法表示,而 ED A0 80 也不是代理码点的有效编码。
这种编码区分了格式错误的数据与不常见但格式良好的 Unicode 内容。未分配的标量值、私用值和 Unicode 非字符都可以具有格式良好的 UTF-8 编码。某个文档或协议是否允许使用它们,则是另一个问题。拒绝所有未分配码点的验证器,实际上是在施加字符收录范围方面的限制,而不只是检查 UTF-8 语法;它也可能拒绝后续 Unicode 版本中才分配的字符。
错误处理方式取决于相关规范。解码器可以报告失败、在遇到第一个错误时停止,或用替换字符 U+FFFD 进行替代。Unicode 标准规定了基于格式错误序列的最大子部分进行替换的方法,使格式错误输入的处理比“替换每个错误字符”之类的规则更加精确。否则,不同的恢复策略可能产生不同数量的替换字符。
流式处理还需要进一步区分无效输入与不完整输入。如果缓冲区以 E2 82 结尾,可能只是尚在等待下一个字节;但如果已确认到达流的末尾,这就是格式错误。因此,流式解码器需要在处理各个数据块之间保留少量状态。在有效前缀之后,为等待一个四字节序列接收完整,最多需要暂存三个末尾字节。
ASCII 兼容性、自同步与逐字节操作
UTF-8 完全保留了 ASCII:码位 U+0000–U+007F 使用字节 00–7F,而这些字节绝不会出现在多字节序列内部。这一特性使软件能够识别 ASCII 分隔符,而不会将其他已编码字符中的组成字节误认成分隔符。斜杠字节仍然是斜杠,换行字节仍然是换行,许多文本语法所用的引号字节也不会出现在非 ASCII 字符内部。
这种兼容性并不意味着所有 ASCII 时代的程序都能正确处理 Unicode。程序可以在有效的 UTF-8 中安全地定位 ASCII 逗号,却仍可能在字符计数、大小写转换、光标移动或截断操作上出错。使用 C编程语言的程序也仍然存在一个常见问题:U+0000 被编码为零字节,因此会终止传统的以空字符结尾的字符串。UTF-8 并未消除这一接口限制。
UTF-8 具有自同步性,因为续字节的位模式既不同于 ASCII 字节,也不同于起始字节。从有效序列内部的某个位置出发,程序最多向后越过三个续字节,就能找到该序列的起点。向前移动到一个非续字节,同样可以识别出一个可能的边界。有效性检查仍不可少:遇到一个形式上符合边界要求的字节,并不能证明周围的输入格式正确。
一个字符的完整 UTF-8 编码不可能是另一个字符编码的真前缀,这一性质与前缀码有关。此外,在格式正确的 UTF-8 中,对一个格式正确的编码字符串进行精确字节搜索,不会从另一个字符内部开始产生误匹配。搜索模式的首字节不可能是续字节,而 ASCII 字节也不会出现在多字节序列内部。这些特性使普通的字节搜索算法能够用于编码文本的精确匹配。
对格式正确的 UTF-8 按无符号字节进行字典序比较,可以保持标量值的数值顺序。在每一种编码长度内,有效载荷位都按从高位到低位的顺序排列,而各编码长度对应的取值范围也按标量值顺序排列。因此,对于字符串,只要将字节作为无符号值比较,并采用通常的前缀排序规则,逐字节的字典序就与其标量值序列的字典序一致。
这种排序并不是语言学意义上的排序。词典排序可能将重音符号视为次要区别,对双字母组合进行特殊处理,或将大小写字母排在一起。UTF-8 的逐字节特性对存储引擎和精确比较很有用,却不能提供符合特定语言文化习惯的排序规则。同样,自同步性也不等同于纠错码:一个受损字节可能将某个有效字符变成另一个有效字符,而不产生任何可检测的编码错误。
与 UTF-16、UTF-32 及传统编码的关系
UTF-8、UTF-16 和 UTF-32 表示的 Unicode 标量值集合相同,但存储开销的分配方式不同。UTF-16 用一个 16 位码元表示基本多文种平面中的大多数值,用一对码元表示辅助平面中的值。UTF-32 用一个 32 位单元表示每个标量值。UTF-8 则使用一至四个 8 位单元,对 ASCII 文本的表示尤为紧凑。
因此,以 ASCII 字符为主的文本,采用 UTF-8 通常比采用 UTF-16 或 UTF-32 占用更少的空间。许多不属于 ASCII 的欧洲语言字母在 UTF-8 中需要两个字节,与单个 UTF-16 码元的两字节大小相同。大多数常用汉字在 UTF-8 中需要三个字节,在 UTF-16 中需要两个字节。辅助平面字符,包括许多表情符号和历史文字字符,在 UTF-8 和 UTF-16 中都需要四个字节。
对于包含 个标量值的字符串,未压缩的 UTF-8 占用 至 个字节。如果不了解多语言文档的具体内容,仅凭这一范围无法预测其大小。即使自然语言部分使用的是其他文字,标记、数字、空格、标点和编程语言语法也往往会贡献大量 ASCII 内容。数据压缩还会改变比较结果,因为重复模式和字节分布都会影响压缩后的大小。
UTF-8 没有小端和大端之分。它的字节序列有明确且完整的规定,存储时无需为多字节码元选择字节顺序。UTF-16 和 UTF-32 在序列化为字节时,则需要约定字节顺序,或通过外部信息指明字节序。这一区别涉及序列化,并不意味着 UTF-8 字符在数值上没有顺序,也不意味着处理器的字节序对实现技术没有影响。
ISO-8859-1、Windows-1252、Shift JIS 和 GB18030 等传统编码各有不同的映射关系和结构规则。一个字节序列即使恰好是有效的 UTF-8,也不一定原本就打算按 UTF-8 解释;而仅含 ASCII 字符的文本可以同时兼容多种编码。因此,编码检测会综合利用编码声明、格式规则、字节模式分析,有时还会借助统计证据;一般而言,无法仅凭任意一段字节唯一推断出其编码。
转码通过解释源字节并生成目标编码的表示形式,在不同编码之间转换文本。有效的 Unicode 文本在 UTF-8、UTF-16 和 UTF-32 之间转换时,其标量值序列保持不变。转换为传统编码则可能因目标字符集中缺少某个字符而失败。仅仅更改编码标签并不会执行任何转换,而且是导致乱码的常见原因;乱码就是文本按错误的字符映射解码后产生的现象。
字素簇、规范化与文本语义
在软件接口中,“字符”一词的含义并不明确。对于同一段文本,字节数、Unicode 标量值数量、UTF-16 代码单元数量,以及用户感知的字符数量,都可能各不相同。UTF-8 只规定标量值与字节之间的对应关系。更高层次的操作需要额外的 Unicode 算法,有时还需要特定语言的规则。
字素簇用于近似表示用户感知的字符,供光标移动、删除等操作使用。文本 é 可以表示为单个码点 U+00E9,编码为 C3 A9;也可以表示为 U+0065 后跟组合尖音符 U+0301,编码为 65 CC 81。这两种形式通常显示相同,但字节序列和标量值数量不同。两者通常都构成一个扩展字素簇。
表情符号提供了更长序列的例子。旗帜可以由一对区域指示符码点表示,而某些家庭或职业表情符号则使用包含零宽连接符的序列。变体选择符可用于指定某种呈现形式,肤色修饰符则可以改变表情符号的外观。最终显示出的一个整体可能占用远超四个 UTF-8 字节,因为四字节的上限针对的是每个标量值,而非整个字素簇。
Unicode规范化规定了某些等价序列之间的标准转换。规范化形式 C(NFC)先进行规范分解,再在可能的情况下进行规范合成。规范化形式 D(NFD)采用规范分解。NFKC 和 NFKD 还会应用兼容映射,这可能消除某些区别,例如某些呈现形式与其普通对应形式之间的区别。UTF-8 编码本身不执行任何此类转换。
规范化与相等性判断、索引和数据交换有关,因为规范等价的字符串逐字节比较时未必相等。在比较前对文本进行规范化的系统,可能会将 é 的两种表示视为等价,而直接比较原始字节则不会。规范化也不是简单地“让每个字符都变成一个码点”:许多组合序列没有对应的单个预组合码点,表情符号序列也仍然是序列。
大小写转换、分词、断行和正则表达式匹配又引入了更多层次。例如,德语字母 ß 就说明了为什么大小写相关操作不一定保持字符串长度不变。正则表达式引擎可能根据其设计和运行模式,将字节、码点或字素簇作为匹配单位。因此,仅仅支持 UTF-8,并不意味着文本处理系统实现了所有相关的 Unicode 语义。
文件、网络协议与编码声明
UTF-8 不受字节顺序影响,这简化了数据交换,但接收方仍需知道收到的字节采用 UTF-8 编码。文件格式和网络协议通过强制编码规则、元数据、声明或签名来明确这一点。UTF-8 注册的互联网字符集标签为 UTF-8;这一标签用于媒体类型参数等场合,以区分字符编码与媒体类型本身。
UTF-8 文件可以以三个字节 EF BB BF 开头,这是 U+FEFF 的编码。当它出现在文本开头时,可以充当字节顺序标记,通常缩写为 BOM,尽管 UTF-8 并没有需要标记的字节顺序。它的实际作用是充当编码签名。UTF-8 并不要求使用 BOM,而某些格式和协议则禁止使用、忽略或以特殊方式解释 BOM。
BOM 还可能干扰那些要求文件以特定字节开头的软件。Unix 脚本可能要求其解释器指令以 #! 开头,而其他格式则可能要求固定的文件头。无法识别 UTF-8 签名的软件可能会将其显示为意外字符或乱码。因此,是否读取并跳过该签名,应由承载文本的格式决定,而不应将其作为可对所有文本任意执行的转换。
在万维网上,超文本标记语言(HTML)支持 <meta charset="utf-8"> 等编码声明,而超文本传输协议(HTTP)可以通过 Content-Type 字段传达字符集信息。浏览器的处理流程包含详细规则,用于协调传输元数据、字节签名和文档内声明。UTF-8 是编写新 HTML 内容时的标准选择,但网页浏览器仍保留了许多旧式编码的解码器,以支持现有内容。
结构化格式采用了不同的做法。RFC 8259 要求,在封闭生态系统之外的系统之间交换的 JSON 必须使用 UTF-8。该规范还规定,生成器不得向通过网络传输的 JSON 添加 BOM,但解析器可以为实现互操作而忽略 BOM。XML 支持编码声明和基于字节的检测规则,符合规范的 XML 处理器必须支持 UTF-8 和 UTF-16。因此,同样的标量值内容可以按照不同格式各自的约定进行序列化。
编码有效性与文档有效性仍是两回事。一个字节流可能是有效的 UTF-8,却包含无效的 JSON 语法、XML 禁止使用的字符,或协议字段不允许的内容。反过来,编码声明也不能使格式错误的字节变为有效。在电子邮件中,UTF-8 文本还可能经过 Base64 或 quoted-printable 等传输编码封装;这些机制用于传输字节,并不取代底层的字符编码。
编程接口、存储与性能
不同的编程环境通过不同的字符串模型提供 UTF-8 支持。有些环境直接存储 UTF-8,并区分按字节索引与按字符迭代。有些环境在内部使用 UTF-16,在读写 UTF-8 时进行转换。还有一些环境提供抽象的 Unicode 字符串接口,其内部表示方式并不固定。因此,接受“字符串”的应用程序编程接口,如果没有同时定义编码方式和长度计算约定,就不能算是完整的字节级规范。
Rust 的字符串类型包含有效的 UTF-8 数据,提供以字节计的长度,并将切片操作限制在有效的字符边界上。相比之下,Go 字符串是字节序列,可以包含任意字节;使用 range 迭代时会解码 UTF-8,并以替换字符表示格式错误的输入。JavaScript 字符串是 UTF-16 码元序列,因此其常规的 length 属性既不直接表示 UTF-8 字节长度,也不直接表示 Unicode 标量值的数量。
变长编码会影响索引操作。在没有索引的 UTF-8 字符串中,查找第 个标量值通常需要扫描此前的编码单元,而访问已知字节偏移处的数据则可以直接完成。库可以添加索引、检查点或其他数据结构,以加快反复按位置访问的速度。UTF-32 支持按标量值位置直接索引,但即便如此,如果没有额外的分段信息,也无法在常数时间内访问第 个字素簇。
有效性验证、转码和标量值计数都可以在线性时间内完成,所需时间与输入字节数成正比。实现通常能够高效处理连续的大段 ASCII 数据,因为每个小于 80 的字节都可立即判定为有效,并且表示一个标量值。单指令多数据技术利用向量运算检查首字节类别、后续字节的位置以及特殊的取值范围限制,从而一次验证多个字节。最终性能取决于处理器特性、输入内容的构成、内存带宽和错误处理要求。
存储系统必须区分字节数限制与字符数限制。允许存储 100 字节的字段未必能容纳 100 个非 ASCII 标量值,而允许存储 100 个码点的字段,仅 UTF-8 数据本身就可能需要多达 400 字节,还不包括其他开销。因此,从单字节编码转换后,索引键、定长记录和网络消息长度限制可能会产生不同的实际效果。在数据库中,编码也不同于排序规则,后者决定如何进行比较和排序。
操作系统接口还带来了另一层区别。Linux 文件名通常是字节序列,受不得包含零字节和路径分隔符等规则限制,而不是一律保证包含有效 UTF-8 的对象。微软 Windows 则广泛使用基于 UTF-16 的系统接口。因此,跨平台软件既会遇到编码转换需求,也会遇到无法纳入“所有文本都是格式正确的 Unicode”这一简单模型的路径。
安全边界与非标准变体
UTF-8 验证与网络安全直接相关,因为多个组件可能会以不同方式解释同一份输入。如果过滤器接受某种表示形式,而后续解码器却将其解释为受限制的字符,那么输入跨越信任边界后,实际含义就可能发生变化。超长编码序列就是一个典型例子:过时或宽松的解码器可能将 C0 AF 解释为 /,而现代 UTF-8 规则会直接拒绝这一序列。
这个问题并不限于斜杠字符。历史上,一些编码器使用 C0 80 表示零值,以避免直接出现零字节。如果一个组件将这些字节视为无害文本,另一个组件却将其解码为空字符,那么字符串终止机制与输入验证机制的判断就可能不一致。现代标准 UTF-8 只允许用 00 表示 U+0000;接受超长编码作为替代,就引入了该编码标准不支持的解释方式。
采用替换策略的解码也可能抹去差异。多个不同的畸形字节序列可能被转换为相同的替换字符文本,因此,使用替换策略的解码通常不可逆。如果某些组件处理原始字节,而其他组件处理修复后的文本,日志记录、授权检查、数字签名和缓存键就可能出现不一致。密码学签名验证的是提供给签名算法的字节;在其他环节进行的文本规范化或错误修复,即使让显示结果看起来相似,也可能产生不同的字节。
有几种有专门名称的格式与 UTF-8 相似,但并不是标准 UTF-8。Java 的修订版 UTF-8用于某些接口和文件格式结构,它将零值编码为 C0 80,并通过分别编码 UTF-16 代理码元来表示辅助平面字符。因此,一个辅助平面字符在这种格式中可能占用六个字节。这个名称并不意味着符合标准的 UTF-8 解码器必须接受这种格式。
CESU-8同样保留了 UTF-16 的码元结构,将代理对编码为两个三字节序列。WTF-8 是一种相关的编码约定,旨在保留可能格式不良的 UTF-16 数据,包括孤立代理项,同时对普通标量值文本保持与 UTF-8 完全一致。这些格式满足了特定的兼容性或往返转换需求,但包含已编码代理项的字节串并不是格式良好的标准 UTF-8。
最后,有效的 UTF-8 也可能在没有任何编码错误的情况下包含具有欺骗性的文本。不同文字系统中外观相似的字母、不可见的格式字符以及双向控制字符,都可能改变人们对标识符或消息的理解。这些属于 Unicode 的解释与呈现问题,而不是 UTF-8 语法错误。字节级验证器可以确认字节流是否正确编码了标量值,却无法确认显示出来的文本是否没有歧义、是否符合语言习惯,或是否与另一个字符串等价。