码点是字符编码的代码空间中的一个数值位置。在Unicode统一码中,码点用于标识字母、数字、标点等抽象字符,以及控制字符和其他指定值。码点不同于存储它所用的字节、显示它所用的图形形状,也不同于读者感知为单个字符的文本单位。
定义与记法
字符编码定义了一个代码空间,即一组或一个范围内的数值位置。码点就是该空间中的任意位置,无论该位置是否已分配给某个字符。
Unicode码点的范围为十六进制的 0000 至 10FFFF,包含两端。通常采用前缀 U+ 后接四至六位十六进制数字的形式表示:
| 码点 | Unicode名称 | 示例 |
|---|---|---|
U+0041 |
拉丁大写字母A | A |
U+00E9 |
带尖音符的拉丁小写字母E | é |
U+0301 |
组合尖音符 | 与前一个字符组合的附加符号 |
U+4E2D |
中日韩统一表意文字-4E2D | 中 |
U+1F600 |
咧嘴笑脸 | 😀 |
U+ 记法标识的是一个数值,并不规定该值在内存中如何表示,或在网络上如何传输。例如,在不同的Unicode编码形式中,U+0041 可以表示为不同的字节序列。
码点这一术语也适用于Unicode以外的编码。在美国信息交换标准代码中,大写字母A占据码点65,即十六进制的 41。在互不相关的字符编码中,同一个数值位置可能表示不同字符,因此其含义取决于所采用的编码。
码点、字符与字形
人们在非正式表述中,常把几种不同的单位都称为“字符”。
- 抽象字符是文本信息的单位,不依赖于特定的视觉外观。
- 码点是代码空间中的一个数值位置。
- 码元是编码形式用来表示文本的基本数值单位。
- **字素簇**是按照Unicode文本分段规则视为单个文本元素的码点序列,近似于用户感知的一个字符。
- **字形**是用于显示文本的图形形式。
这些单位之间并非一一对应。一个抽象字符有时可以用不同的码点序列表示。一个字素簇可以包含多个码点,而字体也可以将多个字符一起渲染为一个字形,连字便是如此。
例如,字母é可以表示为:
U+00E9,即单个预组合字符;或U+0065 U+0301,即字母e后接一个组合尖音符。
这两个序列在Unicode中具有规范等价关系,但其码点和编码后的字节各不相同。Unicode规范化提供了标准化的转换方法,用于处理此类等价关系。
码点也不一定产生可见的符号。控制字符、组合附加符号、变体选择符和格式字符可以影响文本处理或呈现,而不以独立符号的形式出现。反过来,一些显示为单个图像的表情符号,实际上由多个码点连接成一个序列。
Unicode代码空间的组织
Unicode包含:
个码点。代码空间划分为17个平面,每个平面包含65,536个位置。
第0平面的范围为 U+0000 至 U+FFFF,称为基本多文种平面。其中包含许多广泛使用的文字系统、常用符号以及代理码点区间。第1至第16平面为辅助平面,包含其他文字、符号、表情符号、表意文字、私用区及其他指定区间。
Unicode的区块是该空间中具有名称的连续区间。区块是组织上的划分,不一定对应完整的文字系统:一种文字可能分布在多个区块中,一个区块也可能包含多种文字共用的字符。
已分配与未分配的位置
并非每个码点都已分配字符。主要类别包括:
- **已分配字符:**具有已定义字符身份的位置,包括图形字符、控制字符和格式字符。
- **未分配码点:**可供后续版本分配的位置。
- **私用码点:**含义由私下约定确定,而非由标准化字符分配确定的位置。
- 代理码点:
U+D800–U+DFFF区间,保留给UTF-16编码机制使用。 - **非字符:**永久指定的66个码点,保留供内部使用,而非用于普通的字符交换。
非字符既不同于未分配位置,也不同于私用字符。它们属于Unicode标量值,可以编码在格式良好的Unicode文本中,但并非用于在开放交换中表示抽象字符。
Unicode标量值
Unicode标量值是除代理码点以外的任意Unicode码点:
代理码点共有2,048个,因此标量值共有1,112,064个。这些值不仅包括已分配字符,还包括未分配位置、私用位置和非字符。
这一区分很重要,因为格式良好的Unicode编码形式表示的是标量值。孤立的代理码点虽然是码点,却不是标量值,不能出现在格式良好的UTF-8或UTF-16序列中。
与编码形式的关系
码点独立于存储它所采用的编码形式。Unicode编码形式将标量值映射为码元序列。
| 编码形式 | 码元大小 | 每个标量值所需的码元数 |
|---|---|---|
| [[utf-eight | UTF-8编码]] | 8位 |
| [[utf-sixteen | UTF-16编码]] | 16位 |
| [[utf-thirty-two | UTF-32编码]] | 32位 |
例如,U+1F600 的表示方式如下:
- UTF-8:四个字节,
F0 9F 98 80; - UTF-16:两个码元,
D83D DE00; - UTF-32:一个码元,
0001F600。
在UTF-16中,这两个码元构成一个代理对。其中任何一个码元单独都不能表示该表情符号。将辅助平面的码点编码为码元对,使UTF-16得以突破原有的16位范围,同时让基本多文种平面中的非代理字符仍可用单个码元表示。
因此,字节数不一定等于码点数。字节序则是另一个问题:当UTF-16或UTF-32码元序列化为字节时,必须明确字节的排列顺序。在允许使用字节顺序标记的场景中,该标记可以帮助识别字节序。
在软件中的作用
码点为字符属性以及大小写转换、文字识别、搜索和文本分段等操作提供了稳定的标识。不过,并非所有文本处理任务都只需以码点为单位操作。
长度与索引
字符串的长度取决于计数所用的单位。在JavaScript中,普通的字符串长度和索引访问以UTF-16码元为单位。因此,"😀".length 的值为2,尽管该字符串只表示一个码点。JavaScript的字符串迭代会合并格式良好的代理对,但如果存在孤立的代理码元,仍会将其单独返回。
在Python编程语言中,字符串是Unicode码点的序列,因此 len("😀") 的值为1。然而,len("e\u0301") 的值为2,尽管该序列通常呈现为用户感知的一个字符。
因此,文本编辑器、光标移动以及面向用户的字符数限制,可能需要依据字素簇边界,而不是码点边界。
排序与比较
码点的数值顺序通常不等于语言中的排序顺序。字母排序取决于语言、区域设置、重音符号、大小写以及字符序列的排序惯例。Unicode排序算法处理的是超出原始数值顺序的比较问题。
同样,两个看起来完全相同的字符串可能包含不同的码点。规范化可以处理某些等价关系,但不会让所有视觉上相似的字符都变成同一字符。一个拉丁字母与一个外形相似的西里尔字母仍可能是不同的字符,这与标识符处理和网络安全有关。
验证与格式错误的文本
解码是将编码后的码元转换为文本的过程。对于格式错误的输入,例如无效的UTF-8序列或未配对的UTF-16代理码元,需要采用相应的错误处理策略。根据具体格式和软件接口,解码器可能拒绝该输入,也可能将格式错误的序列替换为 U+FFFD(替换字符)。
检查编码格式是否良好,与检查某个码点是否已分配、是否有字体支持、或是否允许用于特定字段,是不同的问题。未分配的标量值可以具有格式良好的编码;而已分配字符在缺少合适字体时,也可能显示为缺字标记。