{
  "id": "utf-sixteen",
  "title": "UTF-16",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "UTF-16用一或两个16位码元表示Unicode标量值，存储或传输时需另行指定字节序。",
  "category": "computer-science",
  "subcategory": "software",
  "type": "concept",
  "aliases": [
    "UTF-16编码"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/utf-sixteen/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/utf-sixteen/",
      "json": "https://aiwiki.page/en/utf-sixteen.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "UTF-16是一种用于Unicode统一码的变长字符编码，将每个Unicode标量值表示为一个或两个16位码元。基本多文种平面中的大多数字符使用一个码元；该平面之外的字符使用两个码元，构成一个代理对。UTF-16可以表示所有Unicode标量值，包括历史文字中的字符、音乐符号和表情符号。它广泛用于软件接口和字符串处理环境，尤其是与微软 Windows、Java和JavaScript相关的环境。"
    },
    {
      "heading": "编码模型",
      "text": "Unicode为字符及其他文本元素分配称为码位的数值。码位范围为U+0000至U+10FFFF。其中，U+D800–U+DFFF区间保留给代理码位；这些码位不是独立编码的字符。Unicode标量值是指不在这一保留区间内的任何Unicode码位。\n\nUTF-16将标量值映射为16位码元序列：\n\nUnicode范围 | UTF-16表示\nU+0000–U+D7FF | 一个码元，其值等于码位值\nU+D800–U+DFFF | 保留给代理码位；不能作为独立的标量值\nU+E000–U+FFFF | 一个码元，其值等于码位值\nU+10000–U+10FFFF | 两个码元，构成一个代理对\n\n一个码元包含16个比特，即两个8位字节。因此，一个标量值的UTF-16编码在序列化后占用两个或四个字节，不计字节顺序标记或外围协议信息。\n\n基本多文种平面（BMP）的范围为U+0000–U+FFFF，包含许多常用文字系统、标点符号和符号。其余16个平面称为补充平面，其中包括更多汉字、历史文字和许多表情符号。\n\n因此，UTF-16并不是一种为Unicode字符提供定长表示的编码。它的码元宽度固定，但标量值的编码长度并不固定。"
    },
    {
      "heading": "代理对",
      "text": "一个代理对由以下两部分组成：\n\n- 一个高位代理码元，也称前导代理码元，范围为0xD800–0xDBFF。\n- 一个低位代理码元，也称后随代理码元，范围为0xDC00–0xDFFF。\n\n要对补充平面中的码位\\(U\\)进行编码，首先减去0x10000：\n\n\\[V = U - \\text{0x10000}.\\]\n\n所得值可用20位表示。它的高10位和低10位分别决定两个码元：\n\n\\[H = \\text{0xD800} + \\left\\lfloor \\frac{V}{1024} \\right\\rfloor,\\]\n\n\\[L = \\text{0xDC00} + (V \\bmod 1024).\\]\n\n解码时执行相反的运算：\n\n\\[U = \\text{0x10000} + (H-\\text{0xD800})\\times 1024 + (L-\\text{0xDC00}).\\]\n\n例如，U+1F600（笑脸，GRINNING FACE）编码为两个码元D83D DE00。\n\n高位代理码元、低位代理码元和普通BMP码元的取值范围互不重叠。因此，位于码元边界的解码器可以判断一个码元是独立码元、代理对的起始码元，还是必须跟在高位代理码元之后的码元。一个代理对所表示的值没有其他有效的UTF-16编码形式。"
    },
    {
      "heading": "字节序与序列化",
      "text": "UTF-16定义的是16位码元序列。将这些码元以字节形式存储或传输时，还需要约定字节序：\n\n- UTF-16BE将每个码元的最高有效字节放在前面。\n- UTF-16LE将最低有效字节放在前面。\n\n以下示例均不含起始字节顺序标记：\n\n字符 | 码位 | UTF-16码元 | UTF-16BE字节 | UTF-16LE字节\nA | U+0041 | 0041 | 00 41 | 41 00\n€ | U+20AC | 20AC | 20 AC | AC 20\n😀 | U+1F600 | D83D DE00 | D8 3D DE 00 | 3D D8 00 DE\n\n小端序列化反转的是每个码元内部的字节顺序，而不是代理码元的排列顺序。\n\n字节顺序标记\n\n位于开头、由U+FEFF编码而成的字节顺序标记（BOM）可以标识字节序：\n\n- FE FF表示大端UTF-16。\n- FF FE表示小端UTF-16。\n\n当这个起始值用作编码签名时，它不属于文本内容。\n\nBOM是必须使用、允许使用还是应当省略，取决于文件格式或协议。明确的UTF-16BE和UTF-16LE标签已经指定字节序；某些规范禁止在使用这些标签时添加BOM。对于没有BOM、仅标为UTF-16的情况，其解释方式由适用规范决定。在没有上层规范规定的情况下，Unicode默认采用大端序，但不应假定所有软件的行为都一致。\n\n对于内存中的码元序列，如果其码元表示方式已由编程环境确定，就不需要BOM。"
    },
    {
      "heading": "历史发展",
      "text": "早期Unicode设计以16位字符空间为核心。UCS-2是与早期通用编码字符集相关的一种编码，使用单个16位单元表示字符，但无法表示补充平面字符。\n\nUTF-16保留了对BMP中非代理码位值的直接表示，同时引入代理对来扩展可用范围。1996年的Unicode 2.0纳入了对代理机制的支持。\n\n对于代理区间之外的BMP文本，UCS-2和UTF-16使用相同的码元值。然而，它们仍是不同的编码：UCS-2不能表示补充平面字符，UTF-16则可以。因此，旧有资料将软件描述为使用“UCS-2”或“双字节Unicode”时，可能无法明确说明其是否正确支持代理对。"
    },
    {
      "heading": "在软件中的应用",
      "text": "UTF-16在操作系统、编程语言和应用程序编程接口中占有重要地位。\n\n微软 Windows\n\n微软 Windows中的许多Unicode接口，包括Windows API函数的宽字符版本，都使用按UTF-16解释的16位码元。因此，一个补充平面字符会占用两个这样的码元。\n\nC和C++类型wchar_t的大小和编码由实现决定。它在Windows上与UTF-16相关联，并不意味着它在其他系统上也是一种可移植的UTF-16类型。\n\nJava\n\nJava的char类型是一个16位码元。其字符串API区分针对char值的操作和针对Unicode码位的操作。一个补充平面字符需要两个char值。\n\n这种语言层面的模型并不要求每个Java实现都在内部将所有字符串存储为未压缩的16位值数组。只要保持规定的行为，实现就可以采用其他存储布局。\n\nJavaScript\n\nJavaScript字符串是16位码元序列。length属性统计的是这些码元，而不是Unicode标量值或用户感知的字符。例如：\n\n\"😀\".length              // 2\n\"😀\".codePointAt(0)       // 128512，即0x1F600\n[...\"😀\"].length          // 1\n\n字符串迭代会合并有效的代理对，但不会按用户感知的字符对文本进行分段。一个显示出来的表情符号序列可能包含多个码位，因此也可能对应多个迭代元素。\n\nJavaScript字符串还可以包含孤立的代理码元。这类字符串可以在该语言中表示，但不是格式良好的UTF-16文本。"
    },
    {
      "heading": "文本长度、索引与分段",
      "text": "UTF-16涉及几种不同的文本长度度量：\n\n- 字节数，由序列化方式决定。\n- 码元数，即16位元素的数量。\n- Unicode标量值数，其中一个有效的代理对计为一个标量值。\n- 扩展字素簇数，近似于用户感知的字符数。\n\n一个字素簇可能包含多个标量值。例如，一个字母后接一个组合重音符号，可以构成一个字素簇；某些表情符号序列则包含多个补充平面码位和连接字符。\n\n因此：\n\n- UTF-16码元索引可能落在代理对的两个码元之间。\n- 在任意码元边界处截断文本，可能产生格式错误的文本。\n- 在码位边界处截断文本，仍可能拆开一个字素簇。\n- 颠倒码元顺序可能破坏代理对和组合字符序列。\n\n在平坦的UTF-16数组中，访问指定码元可以只需常数时间。定位第\\(n\\)个标量值通常需要扫描或借助辅助索引，因为前面的每个值可能占用一个或两个码元。字素簇索引还需要额外的分段规则。这些区别会影响时间复杂度和文本数据结构的设计。"
    },
    {
      "heading": "格式错误的输入与安全性",
      "text": "格式良好的UTF-16要求每个高位代理码元后面紧跟一个低位代理码元，并且每个低位代理码元都属于这样的代理对。格式错误的情况包括：\n\n- 输入以高位代理码元结尾。\n- 高位代理码元后接普通BMP码元。\n- 低位代理码元前面没有高位代理码元。\n- 序列化字节流中存在不完整的码元。\n\n解码器可以按照其接口约定拒绝格式错误的输入，或用U+FFFD（替换字符，REPLACEMENT CHARACTER）替换格式错误的部分。一些API会将未配对的代理码元保留为原始码元；这种行为并不会使这些码元成为Unicode标量值。\n\n验证器、解码器和下游处理程序之间的行为差异可能造成安全漏洞。例如，一个组件可能保留格式错误的输入，另一个组件则将其替换，导致二者对名义上相同的标识符作出不同解释。\n\nUTF-16对许多普通字符的编码中还包含值为零的字节。以字节为单位、将零字节视为文本结束标志的函数，无法正确处理任意UTF-16文本。在使用空字符终止的场合，这种终止方式是API约定，而不是该编码的固有特性。"
    },
    {
      "heading": "与其他Unicode编码的比较",
      "text": "UTF-8\n\nUTF-8编码使用一至四个字节表示一个标量值。ASCII字符在UTF-8中占一个字节，在UTF-16中则占两个字节。许多常见BMP字符，包括大量中文、日文和韩文文本中的字符，在UTF-8中占三个字节，在UTF-16中占两个字节。补充平面字符在两者中都占四个字节。\n\n这些大小描述的是未压缩的编码；实际存储空间还取决于文本构成、元数据和压缩方式。UTF-16在字节层面不兼容美国信息交换标准代码（ASCII），而UTF-8保留了ASCII的字节值。\n\nUTF-8没有字节序之分。在格式良好的UTF-8与UTF-16之间转换，可以无损保留标量值序列。\n\nUTF-32\n\nUTF-32为每个Unicode标量值使用一个32位码元。这简化了平坦数组中的标量值索引，但通常比UTF-16需要更多空间。它并不能使字素簇索引达到常数时间，因为用户感知的字符仍可能包含多个标量值。\n\n无论是在Unicode编码之间转换，还是改变UTF-16的字节序，都不会执行Unicode规范化、大小写转换或文本分段。这些都是独立的文本操作。"
    }
  ],
  "links": [
    "unicode",
    "character-encoding",
    "code-point",
    "bit",
    "byte",
    "byte-order-mark",
    "operating-system",
    "programming-language",
    "application-programming-interface",
    "microsoft-windows",
    "javascript",
    "grapheme-cluster",
    "time-complexity",
    "data-structure",
    "security-vulnerability",
    "utf-eight",
    "ascii"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}