字素簇是由一个或多个 Unicode统一码 码位组成的序列,文本分段规则将它们归为一组,以近似表示用户感知的单个字符。例如,一个字母及其后的组合重音符通常构成一个字素簇,尽管其中包含两个码位。字素簇为光标移动、文本选择、字符计数和截断提供了实用的边界。它不一定等同于语言学意义上的字符、显示出来的符号或存储单位。
字符、码位与字形
“字符”一词可以指几种不同的单位。字素簇有助于区分面向用户的文本单位与其底层表示。
- 码位是字符集中的一个数值位置。Unicode 为字母、组合附加符号、标点、控制字符及其他元素分配码位。
- 码元是某种特定字符编码的基本单位。UTF-8编码使用 8 位码元,而 UTF-16编码使用 16 位码元。一个码位可能需要多个码元来表示。
- **字素**是通过语言学分析界定的书写系统单位。它与 Unicode 文本分段单位之间并不总是一一对应。
- **字形**是文本渲染时产生的视觉形态。一个字素簇可能需要多个字形,而单个合字字形也可能表示多个字素簇。
因此,对同一段文本分别统计字节数、码元数、码位数、字形数和字素簇数,可能会得到不同的结果。
例如,字母“é”既可以用单个码位 U+00E9(带尖音符的拉丁小写字母 E)表示,也可以用 U+0065(拉丁小写字母 E)后接 U+0301(组合尖音符)表示。这两种表示通常都构成一个字素簇。
Unicode 文本分段
《Unicode 标准附录第 29 号:Unicode 文本分段》定义了确定字素簇边界的默认规则。这些规则依据码位及其 Unicode 属性运作,而不是依据文本渲染后的外观。
扩展字素簇是通用文本处理所采用的主要默认单位。Unicode 还定义了传统字素簇,这是一种较早、适用范围较窄的形式,为兼容性而保留。扩展规则能够处理更多情况,包括某些占位附加符号和特定文字系统中的序列。
这些规则按顺序应用:在考虑较后的规则之前,较早的规则就可能已经确定了边界。其重要作用包括:
- 基字符与其后的组合附加符号通常保持在同一簇中。
- 回车符后接换行符会构成一个簇,而其他大多数控制字符的边界都会导致分段。
- 某些韩文辅音和元音组件序列保持在同一簇中。
- 符合定义的表情符号序列,包括修饰符序列及某些以零宽连接符连接的序列,保持在同一簇中。
- 连续的区域指示符符号两两成组,以支持旗帜序列。
- 在扩展规则下,某些印度系文字中的辅音与连接符序列保持在同一簇中。
因此,这并不是一种简单地把所有附加符号归到前一个字母上的算法。它会使用多个字符类别,有时还需要上下文信息。
一个簇也不一定要有常规的基字符:位于文本开头的组合附加符号仍然属于某个簇。反过来,也不是每个簇都可见。回车符与换行符组成的字符对尤其清楚地说明了,为什么“一个可见符号”只是一种近似描述。
默认规则与定制
默认分段规则提供了一个共同的基准,而不是适用于所有书写系统或编辑惯例的完整模型。具体实现可以针对特定语言或环境采用有文档说明的定制规则。
Unicode 版本同样重要。字符属性和分段规则会不断演变,因此,使用不同 Unicode 数据的实现可能会对边界作出不同判断。要使处理结果可复现,可能需要同时指定分段方法及其所用的 Unicode 版本。
示例
按照默认扩展字素簇规则,以下序列各自构成一个簇:
| 文本或序列 | 码位数 | UTF-16 码元数 | 扩展字素簇数 |
|---|---|---|---|
a |
1 | 1 | 1 |
编码为 U+00E9 的 é |
1 | 1 | 1 |
e 后接 U+0301 |
2 | 2 | 1 |
👍🏽 |
2 | 4 | 1 |
🇯🇵 |
2 | 4 | 1 |
👨👩👧👦 |
7 | 11 | 1 |
这个家庭序列包含四个象形符号码位和三个零宽连接符。将它视为一个簇,并不保证字体或渲染系统会将其显示为一幅完整的图像。
同样,字母 f 和 i 通常构成两个字素簇,即使字体使用 fi 合字来显示它们也是如此。字素分段独立于这种排印替换。
与规范化的关系
Unicode规范化与字素分段解决的是不同的问题。
规范化会将文本转换为规定的形式,包括尽可能采用规范组合的 NFC,以及采用规范分解的 NFD。分段则用于识别边界,不一定会改变文本。
对于“é”的两种表示,规范化可以使其码位序列变得相同。而字素分段本来就将每种表示都视为一个簇。不过,这并不会让它们在普通的逐码位比较中相等。
Unicode 的默认字素边界规则旨在使规范等价的表示保有相对应的边界。这并不意味着所有视觉上相似的字符串都等价,也不意味着兼容规范化会保持字素簇数量不变。例如,兼容规范化可以将一个单独编码的排印合字展开为多个普通字母。
应用
编辑与文本选择
文本编辑器通常使用字素边界,避免将光标置于基字母与其重音符之间,或置于表情符号序列内部。选择和替换操作也可以使用相同的边界。
实际的编辑行为可能更为细化。根据应用程序的不同,一次退格操作可以删除整个簇、单个组合附加符号,或其他适合相应文字系统的组成部分。字素簇提供的是实用的默认边界,而不是适用于每一条编辑命令的通用规范。
计数与截断
面向用户的字符数限制通常采用扩展字素簇计数,因为按字节或码位计数,会使组合序列和多码位表情符号占用更多额度。
在簇边界处截断,可以避免从这些序列内部切开文本。但这并不能保证特定的视觉宽度:不同的簇可能占据不同大小的空间,有些甚至不占据任何可见空间。终端列数、渲染后的行长与字素簇数量是不同的度量。
编程接口
一些编程语言和文本库提供字素分段功能。在 JavaScript 中,Intl.Segmenter 支持字素分段:
const text = "e\u0301";
const segmenter = new Intl.Segmenter("en", {
granularity: "grapheme"
});
text.length; // 2 个 UTF-16 码元
Array.from(text).length; // 2 个码位
Array.from(segmenter.segment(text)).length; // 1 个字素簇
分段应用程序编程接口可能会以该语言原生的字符串索引单位报告偏移量。例如,JavaScript 的偏移量仍以 UTF-16 码元为单位;识别出一个簇,并不会改变字符串的存储方式或索引方式。
一些正则表达式引擎还支持用 \X 匹配一个扩展字素簇。是否支持以及所采用的 Unicode 版本行为,取决于具体引擎。
局限与实现注意事项
字素簇并不是“字符”的通用定义。它不一定对应正字法音节、音位、词或单独的渲染对象。词语分段、断行和自然语言分词与词元化需要采用不同的规则。
簇边界也可能取决于周围的文本。区域指示符的配对取决于前面连续出现的区域指示符,而某些表情符号和特定文字系统的规则则需要更多上下文。因此,如果对分别提供的文本块进行分段时不传递边界状态,结果可能与先将它们连接起来再分段不同。
簇的长度并不存在一个较小的固定上限:一个基字符后面可能跟着很长的组合附加符号序列。因此,只以字素簇数表示的限制,无法可靠地限制存储大小或渲染成本。核算资源用量时,必须区分簇数、码位数、码元数和字节数。
最后,字素分段既不能确定视觉上的同一性,也不能防止欺骗性文本。不同的簇可能看起来相同,而同一个簇在不同字体和平台上也可能呈现不同的外观。分段、规范化、渲染以及涉及安全的文本比较,仍然是彼此独立的操作。