字节顺序标记(BOM)是放置在Unicode统一码文本流开头的字符 U+FEFF,用于指明其编码,以及在适用情况下指明其字节的排列顺序。它的编码形式提供了一种可识别的签名,供读取文件或接收文本的软件使用。在UTF-16编码和UTF-32编码中,它可以区分大端表示与小端表示。在没有字节序变体的UTF-8编码中,它仅用作编码签名。BOM 是必需、允许还是禁止使用,取决于所采用的格式或协议。
用途与基本机制
字符编码规定了如何将字符表示为数值单元,并最终表示为字节。有些 Unicode 编码使用的码元宽于一个字节。这些码元在序列化时,其中的字节可以按不同的顺序写入:
- **大端序:**最高有效字节在前。
- **小端序:**最低有效字节在前。
这种区别称为字节序。它涉及每个码元的序列化表示,而不是语言的书写方向,也不是字符串中字符的排列顺序。
选择 U+FEFF 这个数值,是因为它的字节序列能够揭示这种排列顺序。在 UTF-16 中,它按大端序编码为 FE FF,按小端序编码为 FF FE。如果按错误的顺序解释这些字节,得到的就是 U+FFFE;它是 Unicode 中永久保留的非字符,而非普通文本字符。
BOM 是一种带内签名:它与文本处于同一字节流中,而不是通过文件名、协议头或其他元数据单独提供。当它被识别为签名时,就不属于文档的文本内容。
字节序列
BOM 的主要表示形式如下:
| 编码 | 起始字节(十六进制) | 作用 |
|---|---|---|
| UTF-8 | EF BB BF |
标识 UTF-8,不指示字节序 |
| UTF-16,大端序 | FE FF |
指示大端序 UTF-16 |
| UTF-16,小端序 | FF FE |
指示小端序 UTF-16 |
| UTF-32,大端序 | 00 00 FE FF |
指示大端序 UTF-32 |
| UTF-32,小端序 | FF FE 00 00 |
指示小端序 UTF-32 |
例如,只包含一个字母 A 的 UTF-16 文件可以采用以下两种表示中的任意一种:
FE FF 00 41 带 BOM 的大端序 UTF-16
FF FE 41 00 带 BOM 的小端序 UTF-16
两种情况下,字母的 Unicode 值相同,区别仅在于序列化方式。
支持多种编码的检测程序必须考虑签名重叠的情况。尤其是,UTF-16 小端序签名同时也是 UTF-32 小端序签名的开头。因此,仅检查前两个字节不足以区分二者。更一般地说,签名识别必须结合文件格式或协议的预期规则进行;任意二进制数据也可能以相同的字节开头。
在不同 Unicode 编码中的使用
UTF-16
UTF-16 使用 16 位码元表示文本。基本多文种平面以外的字符需要用一对码元表示,但字节序分别作用于每一个码元。
如果字节序尚未指定,BOM 可以让读取程序确定字节序。没有 BOM 并不意味着所有 UTF-16 文本都无效:外层格式、协议或明确选定的解码器也可以确定字节序。
编码标签 UTF-16、UTF-16BE 和 UTF-16LE 不能互换使用。明确标注端序的标签已经确定了字节序,无须再行检测。开头是否允许出现 U+FEFF,以及应将其视为签名还是内容,均由适用的规范决定。不能将通用 UTF-16 的规则自动套用于所有明确标注端序的流。
UTF-32
UTF-32 用一个 32 位码元表示每个 Unicode 标量值。其 BOM 的字节序指示作用与 UTF-16 中相同,但占用四个字节。
作为数据交换编码,UTF-32 不如 UTF-8 常见。不过,未指定字节序的表示与明确指定端序的表示之间的区别,仍然具有实际意义。
UTF-8
UTF-8 被定义为有序的字节序列,因此不存在大端序或小端序的 UTF-8。它的可选 BOM 为 EF BB BF,仅表示该流应按 UTF-8 读取。
在没有其他信息时,这种签名可以帮助软件区分 UTF-8 与传统编码。不过,许多应用程序通过格式要求、外部声明或对字节流的验证来识别 UTF-8,因此不需要 BOM。
对于 ASCII 字符,UTF-8 保留了美国信息交换标准代码(ASCII)的字节值。BOM 会在原本仅含 ASCII 字符的内容之前添加三个非 ASCII 字节,这可能影响那些要求特定字符序列出现在字节偏移量零处的软件。
作为字符的 U+FEFF
U+FEFF 的 Unicode 字符名称为 ZERO WIDTH NO-BREAK SPACE(零宽不换行空格)。历史上,它既用作流开头的编码签名,也用作文本中防止换行的不可见字符。
Unicode 已弃用它的后一种用途,建议改用 Unicode 3.2 引入的 U+2060,WORD JOINER(单词连接符)。U+FEFF 则继续用作字节顺序标记。
其位置和上下文非常重要:
- 在编码流的开头,U+FEFF 可以充当签名。
- 在文本内部,它不是字节序指令。
- 并非在所有情况下都可以直接删除开头的 U+FEFF;它表示签名还是实际内容,由适用的格式决定。
因此,删除文档中的所有 U+FEFF,并不等同于删除其 BOM。
格式与协议
BOM 的处理方式属于格式的编码规则,而不是文本文件普遍具有的属性。
在超文本标记语言(HTML)中,编码检测会识别 Unicode BOM,且识别出的 BOM 可以优先于其他编码声明。XML 同样规定了涉及起始字节模式、BOM 和编码声明的编码检测规则。
对于在封闭生态系统之外交换的JSON,标准要求使用 UTF-8。生成程序不得向通过网络传输的 JSON 添加 BOM,但解析器可以忽略 BOM,而不必拒绝该输入。
因此,网页浏览器、文本编辑器、编译器和命令行工具可能以不同方式处理相同的起始字节,因为它们实现的格式和解码规则不同。能够识别 BOM 的文本编辑器可能会完全隐藏这一签名,而面向字节的工具看到的则是普通的起始字节。
互操作性问题
意外的前导内容
如果软件将 BOM 解码为文本,而不是将其作为签名处理掉,得到的字符串就会以不可见的 U+FEFF 开头。这可能导致字段名、标识符或标题的实际内容与其可见拼写不一致。
例如,表格的第一列名称可能被解码为 \uFEFFname,而不是 name。这样,即使两个字符串在屏幕上看起来完全相同,查找 name 仍会失败。
签名被错误解码
当 UTF-8 BOM 按 Windows-1252 解释时,其字节会显示为 。这是乱码的一种情况,即文本因采用不恰当的解码方式而错误显示。这些可见字符并不是 BOM 原本应有的表示。
对位置敏感的语法
有些工具要求特定字节序列必须位于文件的最开头。在许多类 Unix操作系统上,可执行脚本使用开头的 #! 序列来指定解释器。如果前面存在 UTF-8 BOM,就可能导致该序列无法被识别。
如果解析器和文件类型检测程序没有明确允许在预期的起始语法之前出现 BOM,也会发生类似问题。
拼接与字节级一致性
将多个各自以 BOM 开头的文件拼接起来,会在合并后的流内部引入额外的签名。这些内部序列不会为周围的文本设定新的字节序,而且可能表现为嵌入的 U+FEFF 字符。
即使显示的文本保持不变,添加或删除 BOM 也会改变文件的字节。因此,这会改变字节偏移量以及密码散列函数的输入,还可能使针对原始字节生成的数字签名失效。文本等价与逐字节一致是两种不同的属性。
检测与局限性
当 BOM 出现在预期的流边界处,且适用的格式能够识别它时,它可以为确定编码提供有力依据。但仅凭 BOM,无法证明流的其余部分是格式良好的 Unicode,也无法识别文本的语言或确认内容的完整性。
反过来,没有 BOM 也不意味着文本不是 Unicode。UTF-8 通常不带 BOM,而 UTF-16 和 UTF-32 可以依赖外部指定的字节序。
因此,BOM 检测与解码是两个独立的操作:签名有助于选择或确认编码,随后仍须按照该编码的规则解释并验证其余字节。