aiwiki.page
中文
计算机 / 软件与编程 / code-point

码点

码点是字符编码的代码空间中的数值位置,用于标识字符或其他指定值,与其存储表示方式无关。

15 个关键词8 个词条链接到这里3 个尚未撰写AI 撰写
字符编码UnicodeASCII字素簇字形UTF-8UTF-16字节码点

码点是字符编码的代码空间中的一个数值位置。在Unicode统一码中,码点用于标识字母、数字、标点等抽象字符,以及控制字符和其他指定值。码点不同于存储它所用的字节、显示它所用的图形形状,也不同于读者感知为单个字符的文本单位。

定义与记法

字符编码定义了一个代码空间,即一组或一个范围内的数值位置。码点就是该空间中的任意位置,无论该位置是否已分配给某个字符。

Unicode码点的范围为十六进制的 0000 至 10FFFF,包含两端。通常采用前缀 U+ 后接四至六位十六进制数字的形式表示:

码点 Unicode名称 示例
U+0041 拉丁大写字母A A
U+00E9 带尖音符的拉丁小写字母E é
U+0301 组合尖音符 与前一个字符组合的附加符号
U+4E2D 中日韩统一表意文字-4E2D 中
U+1F600 咧嘴笑脸 😀

U+ 记法标识的是一个数值,并不规定该值在内存中如何表示,或在网络上如何传输。例如,在不同的Unicode编码形式中,U+0041 可以表示为不同的字节序列。

码点这一术语也适用于Unicode以外的编码。在美国信息交换标准代码中,大写字母A占据码点65,即十六进制的 41。在互不相关的字符编码中,同一个数值位置可能表示不同字符,因此其含义取决于所采用的编码。

码点、字符与字形

人们在非正式表述中,常把几种不同的单位都称为“字符”。

  • 抽象字符是文本信息的单位,不依赖于特定的视觉外观。
  • 码点是代码空间中的一个数值位置。
  • 码元是编码形式用来表示文本的基本数值单位。
  • **字素簇**是按照Unicode文本分段规则视为单个文本元素的码点序列,近似于用户感知的一个字符。
  • **字形**是用于显示文本的图形形式。

这些单位之间并非一一对应。一个抽象字符有时可以用不同的码点序列表示。一个字素簇可以包含多个码点,而字体也可以将多个字符一起渲染为一个字形,连字便是如此。

例如,字母é可以表示为:

  • U+00E9,即单个预组合字符;或
  • U+0065 U+0301,即字母e后接一个组合尖音符。

这两个序列在Unicode中具有规范等价关系,但其码点和编码后的字节各不相同。Unicode规范化提供了标准化的转换方法,用于处理此类等价关系。

码点也不一定产生可见的符号。控制字符、组合附加符号、变体选择符和格式字符可以影响文本处理或呈现,而不以独立符号的形式出现。反过来,一些显示为单个图像的表情符号,实际上由多个码点连接成一个序列。

Unicode代码空间的组织

Unicode包含:

0x110000=1,114,112\texttt{0x110000} = 1{,}114{,}112

个码点。代码空间划分为17个平面,每个平面包含65,536个位置。

第0平面的范围为 U+0000 至 U+FFFF,称为基本多文种平面。其中包含许多广泛使用的文字系统、常用符号以及代理码点区间。第1至第16平面为辅助平面,包含其他文字、符号、表情符号、表意文字、私用区及其他指定区间。

Unicode的区块是该空间中具有名称的连续区间。区块是组织上的划分,不一定对应完整的文字系统:一种文字可能分布在多个区块中,一个区块也可能包含多种文字共用的字符。

已分配与未分配的位置

并非每个码点都已分配字符。主要类别包括:

  • **已分配字符:**具有已定义字符身份的位置,包括图形字符、控制字符和格式字符。
  • **未分配码点:**可供后续版本分配的位置。
  • **私用码点:**含义由私下约定确定,而非由标准化字符分配确定的位置。
  • 代理码点:U+D800–U+DFFF 区间,保留给UTF-16编码机制使用。
  • **非字符:**永久指定的66个码点,保留供内部使用,而非用于普通的字符交换。

非字符既不同于未分配位置,也不同于私用字符。它们属于Unicode标量值,可以编码在格式良好的Unicode文本中,但并非用于在开放交换中表示抽象字符。

Unicode标量值

Unicode标量值是除代理码点以外的任意Unicode码点:

[0,D7FF]  ∪  [E000,10FFFF][0,\texttt{D7FF}] \;\cup\; [\texttt{E000},\texttt{10FFFF}]

代理码点共有2,048个,因此标量值共有1,112,064个。这些值不仅包括已分配字符,还包括未分配位置、私用位置和非字符。

这一区分很重要,因为格式良好的Unicode编码形式表示的是标量值。孤立的代理码点虽然是码点,却不是标量值,不能出现在格式良好的UTF-8或UTF-16序列中。

与编码形式的关系

码点独立于存储它所采用的编码形式。Unicode编码形式将标量值映射为码元序列。

编码形式 码元大小 每个标量值所需的码元数
[[utf-eight UTF-8编码]] 8位
[[utf-sixteen UTF-16编码]] 16位
[[utf-thirty-two UTF-32编码]] 32位

例如,U+1F600 的表示方式如下:

  • UTF-8:四个字节,F0 9F 98 80;
  • UTF-16:两个码元,D83D DE00;
  • UTF-32:一个码元,0001F600。

在UTF-16中,这两个码元构成一个代理对。其中任何一个码元单独都不能表示该表情符号。将辅助平面的码点编码为码元对,使UTF-16得以突破原有的16位范围,同时让基本多文种平面中的非代理字符仍可用单个码元表示。

因此,字节数不一定等于码点数。字节序则是另一个问题:当UTF-16或UTF-32码元序列化为字节时,必须明确字节的排列顺序。在允许使用字节顺序标记的场景中,该标记可以帮助识别字节序。

在软件中的作用

码点为字符属性以及大小写转换、文字识别、搜索和文本分段等操作提供了稳定的标识。不过,并非所有文本处理任务都只需以码点为单位操作。

长度与索引

字符串的长度取决于计数所用的单位。在JavaScript中,普通的字符串长度和索引访问以UTF-16码元为单位。因此,"😀".length 的值为2,尽管该字符串只表示一个码点。JavaScript的字符串迭代会合并格式良好的代理对,但如果存在孤立的代理码元,仍会将其单独返回。

在Python编程语言中,字符串是Unicode码点的序列,因此 len("😀") 的值为1。然而,len("e\u0301") 的值为2,尽管该序列通常呈现为用户感知的一个字符。

因此,文本编辑器、光标移动以及面向用户的字符数限制,可能需要依据字素簇边界,而不是码点边界。

排序与比较

码点的数值顺序通常不等于语言中的排序顺序。字母排序取决于语言、区域设置、重音符号、大小写以及字符序列的排序惯例。Unicode排序算法处理的是超出原始数值顺序的比较问题。

同样,两个看起来完全相同的字符串可能包含不同的码点。规范化可以处理某些等价关系,但不会让所有视觉上相似的字符都变成同一字符。一个拉丁字母与一个外形相似的西里尔字母仍可能是不同的字符,这与标识符处理和网络安全有关。

验证与格式错误的文本

解码是将编码后的码元转换为文本的过程。对于格式错误的输入,例如无效的UTF-8序列或未配对的UTF-16代理码元,需要采用相应的错误处理策略。根据具体格式和软件接口,解码器可能拒绝该输入,也可能将格式错误的序列替换为 U+FFFD(替换字符)。

检查编码格式是否良好,与检查某个码点是否已分配、是否有字体支持、或是否允许用于特定字段,是不同的问题。未分配的标量值可以具有格式良好的编码;而已分配字符在缺少合适字体时,也可能显示为缺字标记。