UTF-16是一种用于Unicode统一码的变长字符编码,将每个Unicode标量值表示为一个或两个16位码元。基本多文种平面中的大多数字符使用一个码元;该平面之外的字符使用两个码元,构成一个代理对。UTF-16可以表示所有Unicode标量值,包括历史文字中的字符、音乐符号和表情符号。它广泛用于软件接口和字符串处理环境,尤其是与微软 Windows、Java和JavaScript相关的环境。
编码模型
Unicode为字符及其他文本元素分配称为码位的数值。码位范围为U+0000至U+10FFFF。其中,U+D800–U+DFFF区间保留给代理码位;这些码位不是独立编码的字符。Unicode标量值是指不在这一保留区间内的任何Unicode码位。
UTF-16将标量值映射为16位码元序列:
| Unicode范围 | UTF-16表示 |
|---|---|
| U+0000–U+D7FF | 一个码元,其值等于码位值 |
| U+D800–U+DFFF | 保留给代理码位;不能作为独立的标量值 |
| U+E000–U+FFFF | 一个码元,其值等于码位值 |
| U+10000–U+10FFFF | 两个码元,构成一个代理对 |
一个码元包含16个比特,即两个8位字节。因此,一个标量值的UTF-16编码在序列化后占用两个或四个字节,不计字节顺序标记或外围协议信息。
基本多文种平面(BMP)的范围为U+0000–U+FFFF,包含许多常用文字系统、标点符号和符号。其余16个平面称为补充平面,其中包括更多汉字、历史文字和许多表情符号。
因此,UTF-16并不是一种为Unicode字符提供定长表示的编码。它的码元宽度固定,但标量值的编码长度并不固定。
代理对
一个代理对由以下两部分组成:
- 一个高位代理码元,也称前导代理码元,范围为0xD800–0xDBFF。
- 一个低位代理码元,也称后随代理码元,范围为0xDC00–0xDFFF。
要对补充平面中的码位进行编码,首先减去0x10000:
所得值可用20位表示。它的高10位和低10位分别决定两个码元:
解码时执行相反的运算:
例如,U+1F600(笑脸,GRINNING FACE)编码为两个码元D83D DE00。
高位代理码元、低位代理码元和普通BMP码元的取值范围互不重叠。因此,位于码元边界的解码器可以判断一个码元是独立码元、代理对的起始码元,还是必须跟在高位代理码元之后的码元。一个代理对所表示的值没有其他有效的UTF-16编码形式。
字节序与序列化
UTF-16定义的是16位码元序列。将这些码元以字节形式存储或传输时,还需要约定字节序:
- UTF-16BE将每个码元的最高有效字节放在前面。
- UTF-16LE将最低有效字节放在前面。
以下示例均不含起始字节顺序标记:
| 字符 | 码位 | UTF-16码元 | UTF-16BE字节 | UTF-16LE字节 |
|---|---|---|---|---|
| A | U+0041 | 0041 |
00 41 |
41 00 |
| € | U+20AC | 20AC |
20 AC |
AC 20 |
| 😀 | U+1F600 | D83D DE00 |
D8 3D DE 00 |
3D D8 00 DE |
小端序列化反转的是每个码元内部的字节顺序,而不是代理码元的排列顺序。
字节顺序标记
位于开头、由U+FEFF编码而成的字节顺序标记(BOM)可以标识字节序:
FE FF表示大端UTF-16。FF FE表示小端UTF-16。
当这个起始值用作编码签名时,它不属于文本内容。
BOM是必须使用、允许使用还是应当省略,取决于文件格式或协议。明确的UTF-16BE和UTF-16LE标签已经指定字节序;某些规范禁止在使用这些标签时添加BOM。对于没有BOM、仅标为UTF-16的情况,其解释方式由适用规范决定。在没有上层规范规定的情况下,Unicode默认采用大端序,但不应假定所有软件的行为都一致。
对于内存中的码元序列,如果其码元表示方式已由编程环境确定,就不需要BOM。
历史发展
早期Unicode设计以16位字符空间为核心。UCS-2是与早期通用编码字符集相关的一种编码,使用单个16位单元表示字符,但无法表示补充平面字符。
UTF-16保留了对BMP中非代理码位值的直接表示,同时引入代理对来扩展可用范围。1996年的Unicode 2.0纳入了对代理机制的支持。
对于代理区间之外的BMP文本,UCS-2和UTF-16使用相同的码元值。然而,它们仍是不同的编码:UCS-2不能表示补充平面字符,UTF-16则可以。因此,旧有资料将软件描述为使用“UCS-2”或“双字节Unicode”时,可能无法明确说明其是否正确支持代理对。
在软件中的应用
UTF-16在操作系统、编程语言和应用程序编程接口中占有重要地位。
微软 Windows
微软 Windows中的许多Unicode接口,包括Windows API函数的宽字符版本,都使用按UTF-16解释的16位码元。因此,一个补充平面字符会占用两个这样的码元。
C和C++类型wchar_t的大小和编码由实现决定。它在Windows上与UTF-16相关联,并不意味着它在其他系统上也是一种可移植的UTF-16类型。
Java
Java的char类型是一个16位码元。其字符串API区分针对char值的操作和针对Unicode码位的操作。一个补充平面字符需要两个char值。
这种语言层面的模型并不要求每个Java实现都在内部将所有字符串存储为未压缩的16位值数组。只要保持规定的行为,实现就可以采用其他存储布局。
JavaScript
JavaScript字符串是16位码元序列。length属性统计的是这些码元,而不是Unicode标量值或用户感知的字符。例如:
"😀".length // 2
"😀".codePointAt(0) // 128512,即0x1F600
[..."😀"].length // 1
字符串迭代会合并有效的代理对,但不会按用户感知的字符对文本进行分段。一个显示出来的表情符号序列可能包含多个码位,因此也可能对应多个迭代元素。
JavaScript字符串还可以包含孤立的代理码元。这类字符串可以在该语言中表示,但不是格式良好的UTF-16文本。
文本长度、索引与分段
UTF-16涉及几种不同的文本长度度量:
- 字节数,由序列化方式决定。
- 码元数,即16位元素的数量。
- Unicode标量值数,其中一个有效的代理对计为一个标量值。
- 扩展字素簇数,近似于用户感知的字符数。
一个字素簇可能包含多个标量值。例如,一个字母后接一个组合重音符号,可以构成一个字素簇;某些表情符号序列则包含多个补充平面码位和连接字符。
因此:
- UTF-16码元索引可能落在代理对的两个码元之间。
- 在任意码元边界处截断文本,可能产生格式错误的文本。
- 在码位边界处截断文本,仍可能拆开一个字素簇。
- 颠倒码元顺序可能破坏代理对和组合字符序列。
在平坦的UTF-16数组中,访问指定码元可以只需常数时间。定位第个标量值通常需要扫描或借助辅助索引,因为前面的每个值可能占用一个或两个码元。字素簇索引还需要额外的分段规则。这些区别会影响时间复杂度和文本数据结构的设计。
格式错误的输入与安全性
格式良好的UTF-16要求每个高位代理码元后面紧跟一个低位代理码元,并且每个低位代理码元都属于这样的代理对。格式错误的情况包括:
- 输入以高位代理码元结尾。
- 高位代理码元后接普通BMP码元。
- 低位代理码元前面没有高位代理码元。
- 序列化字节流中存在不完整的码元。
解码器可以按照其接口约定拒绝格式错误的输入,或用U+FFFD(替换字符,REPLACEMENT CHARACTER)替换格式错误的部分。一些API会将未配对的代理码元保留为原始码元;这种行为并不会使这些码元成为Unicode标量值。
验证器、解码器和下游处理程序之间的行为差异可能造成安全漏洞。例如,一个组件可能保留格式错误的输入,另一个组件则将其替换,导致二者对名义上相同的标识符作出不同解释。
UTF-16对许多普通字符的编码中还包含值为零的字节。以字节为单位、将零字节视为文本结束标志的函数,无法正确处理任意UTF-16文本。在使用空字符终止的场合,这种终止方式是API约定,而不是该编码的固有特性。
与其他Unicode编码的比较
UTF-8
UTF-8编码使用一至四个字节表示一个标量值。ASCII字符在UTF-8中占一个字节,在UTF-16中则占两个字节。许多常见BMP字符,包括大量中文、日文和韩文文本中的字符,在UTF-8中占三个字节,在UTF-16中占两个字节。补充平面字符在两者中都占四个字节。
这些大小描述的是未压缩的编码;实际存储空间还取决于文本构成、元数据和压缩方式。UTF-16在字节层面不兼容美国信息交换标准代码(ASCII),而UTF-8保留了ASCII的字节值。
UTF-8没有字节序之分。在格式良好的UTF-8与UTF-16之间转换,可以无损保留标量值序列。
UTF-32
UTF-32为每个Unicode标量值使用一个32位码元。这简化了平坦数组中的标量值索引,但通常比UTF-16需要更多空间。它并不能使字素簇索引达到常数时间,因为用户感知的字符仍可能包含多个标量值。
无论是在Unicode编码之间转换,还是改变UTF-16的字节序,都不会执行Unicode规范化、大小写转换或文本分段。这些都是独立的文本操作。