组合标记是一种在视觉上与基字符或字符序列结合显示的字符,通常出现在其上方、下方、内部或旁边。在 Unicode统一码 中,组合标记具有各自独立的编码身份,因此字母及其他符号可以表示为多个组成部分构成的序列。例如,é 可以用字母 e 后接一个组合尖音符来表示。组合标记用于表示附加符号、元音符号、注音符号,以及许多文字中的其他特征。
字符、标记与字形
组合标记是一种已编码的字符,而不只是加在字母上的一个小图形。它的可见形态是由渲染系统选择并定位的字形。同一个标记的形状或位置可能随基字符、字体设计和周围文本而变化。
以下三个区别很重要:
- 附加符号是文字体系中的概念。 它是修饰或补充另一个书写符号的标记。组合标记则是字符编码中的概念。许多组合标记都是附加符号,但这两个类别并不完全相同。
- 组合标记不一定不占位。 有些标记虽然依附于另一个字符,但仍会占用水平空间。
- 感知上的一个书写单位,不一定只对应一个已编码字符。 一个字母加上若干标记可能构成一个字素,但软件会将其存储为多个字符。
例如,é 中的尖音符可能表示发音,也可能表示其他正字法上的区别,具体取决于语言。Unicode 编码的是这个标记本身的身份,而不是赋予它一种适用于所有语言的意义。
在 Unicode 中的表示
Unicode 为每个已编码字符分配一个码位,通常写作 U+ 后接十六进制数字。以下序列:
U+0065 拉丁小写字母 E
U+0301 组合尖音符
表示 é。虽然尖音符通常显示在字母上方,但在编码序列中,它位于字母之后。
Unicode 还收录了:
U+00E9 带尖音符的拉丁小写字母 E
它以单个预组字符表示 é。这两种表示方式是规范等价的:Unicode 将它们视为同一抽象文本的不同编码形式。
并非每种基字符与标记的组合都有对应的预组字符。将标记单独编码,就能表示各种组合,而不必为每一种可能的带附加符号字母分配独立码位。
组合标记与对应的占位字符
组合重音符与外观相似、但供独立使用的字符并不相同。例如:
| 字符 | Unicode 名称 | 典型用途 |
|---|---|---|
| U+0301 | 组合尖音符 | 附着于基字符的重音符 |
| U+00B4 | 尖音符 | 占位重音符字符 |
| U+0027 | 撇号 | 标点或正字法符号 |
在某些字体中,它们的形状可能相似,但通常不能互换。用其中一个替换另一个,可能改变搜索、渲染和解读的结果。
Unicode 类别
Unicode 的通用类别属性将标记分为三类:
| 类别 | 名称 | 一般行为 |
|---|---|---|
Mn |
非占位标记 | 与另一个字符组合,通常不具有自身的步进宽度 |
Mc |
占位标记 | 作为依附性标记使用,但通常会使文本排布位置向前推进 |
Me |
围合标记 | 环绕或包围另一个字符或字符序列 |
这些类别描述的是字符的大致行为,并不保证特定的视觉布局。实际定位取决于文字体系和渲染系统。
组合附加符号区块(U+0300–U+036F)包含许多常见的重音符,但并未囊括所有组合标记。组合标记也分布在附加符号补充区块、特定文字的区块,以及包含符号用组合标记的区块中。所属区块与通用类别是不同的属性。
语言中的用途
组合标记在不同正字法和记号系统中承担不同的功能。
字母附加符号
在拉丁字母中,组合重音符可以表示重音、声调、元音音质或字母之间的区别。例如,汉语拼音使用附加符号表示声调。有些字母需要不止一个标记,例如同时带有分音符和声调符号的元音字母。
希腊字母也使用重音符,并在多调正字法中使用气息符及其他符号。带重音符字母的语言学地位取决于具体语言:它可能被视为字母表中的独立字母、另一个字母的变体,或带有注音标记的形式。
其他文字中的依附性符号
在阿拉伯语和希伯来语文本中,许多元音符号和发音符号被编码为与辅音字母结合的组合标记。这些符号在某些类型的书写中可以省略,而在教育、宗教或其他文本中则会标出。
在天城文等文字中,依附性元音符号及其他标记共同构成更大的书写音节结构。它们的显示位置不一定与其在编码字符序列中的位置一致。编码在辅音之后的元音符号,可能显示在该辅音左侧、上方或下方,也可能分成多个视觉部分显示。
语音与技术记号
国际音标使用组合附加符号表示鼻化、清化和次要发音等特征。组合标记也用于数学及专业记号,包括叠加符号和围合符号。
规范化与标记顺序
Unicode规范化提供了处理等价字符序列的标准化方法。
两种主要的规范化形式是:
- NFD:执行规范分解和规范排序。
- NFC:执行规范分解和排序,然后在允许的情况下进行规范合成。
因此,在 NFD 中,é 会变成 e 后接一个组合尖音符;而在 NFC 中,这个序列会变成预组字符 é。NFC 并不会消除所有组合标记:许多组合没有等价的预组字符。
规范组合类
Unicode 为字符指定一个 **Canonical_Combining_Class(规范组合类)**值。这个属性有助于确定规范化过程中各标记的顺序。例如,字母下方的点和上方的尖音符具有不同的组合类,因此规范化可以为这些标记确定一致的排列顺序。
组合类不能与 Mn、Mc 和 Me 类别混为一谈。组合标记的组合类可以为零。此外,组合类也不能完全决定标记的视觉位置。
具有相同组合类的标记,在规范排序过程中通常会保留彼此的相对顺序。因此,任意排序或重排标记可能会改变文本,而不仅仅是使其表示形式标准化。
Unicode 还提供了 U+034F 组合字素连接符(COMBINING GRAPHEME JOINER),这是一种不可见字符,可以阻止规范重排序跨越其所在位置。尽管名称中有“连接符”,它并不是一种用于连接可见字形的通用指令。
渲染与文本边界
要正确渲染组合标记,不能只是按固定偏移量画出一个小符号。字型可以提供附着点,用于确定标记相对于基字符的位置,以及将一个标记叠放在另一个标记之上。文本塑形则根据文字体系、字符序列和可用的字体数据来选择和排列字形。
以下情况可能导致渲染问题:
- 字体缺少所需的标记。
- 回退字体提供的标记具有不兼容的度量信息。
- 塑形系统缺少正确定位所需的信息。
- 多个标记超出文本行或界面预留的空间。
缺少合适基字符的标记可能会与虚线圆 ◌ 一起显示,以提示基字符缺失。在说明性示例中,也可能显式插入虚线圆。屏幕上出现虚线圆,并不一定意味着底层文本中确实存在这个字符。
字素簇
软件常用扩展字素簇来近似表示用户所感知的一个字符。基字母后接组合标记,通常会形成一个这样的簇。光标移动、选择和删除操作可以针对整个簇进行,而不是分别处理每个码位。
因此,码位数量不能可靠地衡量可见文本的长度。一个显示出来的带重音符字母,可能由一个或多个码位构成;若按编码单元或字节计数,还会产生进一步的差异。
历史与实际意义
组合标记机制早于 Unicode 出现。叠印、非占位重音符以及早期字符集标准,都曾提供组合出带重音符形式的方法。Unicode 同时纳入组合机制和大量预组字符,部分原因是要兼容既有的编码文本。
对于文本处理,这带来了几个重要区别:
- 相等性: 视觉上完全相同的字符串,码位序列可能不同,判断时需要考虑规范等价关系。
- 搜索与排序: 依照语言规则进行处理时,可能既要区分具有实际意义的重音符,又要兼容等价的编码形式。
- 去除重音符: 将文本分解后删除标记,并不是一种通用的转写方法。标记可能承载不可缺少的信息,而且有些字母无法分解为基字符加标记。
- 输入: 键盘和输入法既可能生成预组字符,也可能生成组合序列。
- 显示稳健性: 过长的标记序列可能与相邻文本重叠,或超出预期的布局边界。
因此,组合标记需要字符编码、规范化、字体、渲染和编辑界面各环节协同处理。它们在视觉上依附于其他字符,并不意味着它们可以随意省略,或在语言中无足轻重。