WordNet 是一个英语词汇数据库,用于表示词义之间的关系。它的基本单位是同义词集(synonym set,简称 synset),即共享某一特定义义的一组词语或表达式。每个同义词集都有简短的定义,有时还附有例句,并通过“是一种”“是……的一部分”等关系与其他同义词集相连。WordNet 于 1985 年在心理学家乔治·A. 米勒的主持下开始在普林斯顿大学开发,后来成为自然语言处理、计算语言学和词汇语义研究的重要资源。
目的与范围
WordNet 融合了词典、同义词词典和结构化语义网络的特点。与词典一样,它区分词义并提供定义;与同义词词典一样,它将意义相关的词归为一组。它与传统按字母顺序编排的工具书不同,会显式编码各种关系,供计算机程序遍历。
WordNet 主要收录名词、动词、形容词和副词,既包括单个词,也包括复合名词、短语动词等多词表达式。它并不试图全面描述英语语法、发音、词源演变或所有类别的功能词。
WordNet 区分了三个容易混淆的层次:
- 词形: 某种拼写形式或词汇表达式,例如 bank。
- 词义: 该表达式的某一个特定含义。
- 同义词集: 共享这一含义的一组词汇表达式。
因此,一个多义词会出现在多个同义词集中。bank 表示金融机构的义项,与表示河边斜坡地带的义项彼此独立。反过来,多个不同的表达式也可以属于同一个同义词集。
这种以词义为基础的组织方式,使 WordNet 区别于那些仅因词语共同出现或具有大致相似的联想就将它们连接起来的资源。
历史发展
WordNet 起源于对人类如何组织和提取词汇知识的研究。其设计借鉴了心理语言学有关语义记忆的观点:对一个词的了解涉及它与其他概念的联系,而不只是一个孤立的定义。
该项目于 1985 年在普林斯顿大学启动。乔治·A. 米勒奠定了它的心理学基础,克里斯蒂安妮·费尔鲍姆则在项目开发和语言学层面的组织工作中发挥了核心作用。后续各版本不断扩充词汇、完善关系,并提供机器可读的数据及访问这些数据的软件。
2006 年发布的普林斯顿 WordNet 3.0 包含超过 117,000 个同义词集。它成为广泛使用的基准版本,不过普林斯顿还发布过其他版本,也存在由独立团队维护的后继项目。明确版本十分重要,因为不同版本所收录的同义词集、定义和标识符可能有所不同。
WordNet 还推动了许多其他语言词汇网络的建设。从更广泛的意义上说,wordnet 可以指任何围绕同义词集和显式语义关系构建的词汇资源,而不只指最初的英语数据库。
同义词集、释义与标识符
同义词集表示的是某个已经词汇化的特定意义,而不只是一组可以相互替换的字符串。两个词可以共享一个义项,但在其他含义上存在很大差异。
每个同义词集都包含一段释义,即对其含义的简短说明,有时后面还附有例句。释义既有助于读者区分相近的词义,也为计算方法提供了文本材料。
WordNet 还提供用于定位词义和同义词集的标识符。这些标识符不应与词语本身混为一谈:
- 同义词集偏移量标识某一特定版本数据文件中的一条记录,必须结合其词性来解释。
- 词义键利用词元及其词汇分类信息来标识某个具体词义。
- 软件库使用的可读标签可能由词元、词性标记和义项编号组合而成。
这类标签使用方便,但义项编号并不是通用的语义标识符。跨版本应用通常需要明确的映射关系,而不能假定相同的记录位置或标签始终指向相同内容。
语义关系与词汇关系
WordNet 区分两类关系:一类存在于作为整体的词义之间,另一类存在于表达这些词义的特定词语之间。因此,它的结构比单一的层级体系更为复杂。
上义关系与下义关系
对于名词,核心关系是上义关系:更一般的类别包含更具体的类别。狗是一种犬科动物,犬科动物又是一种动物。反过来说,狗是犬科动物的下义词。
这些连接构成了分类层级。一个同义词集可以有多个父节点,因此其结构不一定是一棵简单的树。WordNet 还区分具体实例及其所属类别,从而可以将命名实体表示为实例,而非子类型。
部分关系与整体关系
部分关系表示部分与整体之间的关系。例如,车轮是车辆的一部分;与之对应,从整体指向部分的关系称为整体关系。
WordNet 区分了多种部分与整体的联系,包括物理部件、集合成员,以及构成某物的物质。这些关系不应与类别归属等同:车轮是汽车的一部分,而不是汽车的一种。
动词关系
动词同义词集包含适用于动作和事件的关系:
- 方式关系: 以某种特定方式实施一个动作,例如散步是行走的一种方式。
- 蕴涵关系: 一个动作或事件意味着另一个动作或事件也成立。
- 致使关系: 一个事件引发另一个事件。
这些关系旨在刻画词汇意义,而不是涵盖现实世界中所有可能的因果联系。
形容词、副词与词汇连接
形容词通常围绕反义词对及意义相近的词群组织,而不是采用类似名词的分类体系。副词则可能与其派生来源的形容词相连。
有些关系作用于具体的词汇义项之间,而不是整个同义词集之间。例如,反义关系可以连接两个特定的词,即使它们各自所属的同义词集中还包含其他词语。派生关系则连接分属不同语法类别的相关词形。
这一区别在计算处理中很重要:附属于同义词集中某个词的关系,不应自动赋予该词集中的所有其他成员。
计算应用
WordNet 通常被视为词汇知识库或专门的知识图谱。程序可以检索候选词义、查看定义、沿关系遍历,以及比较概念。Natural Language Toolkit 等软件库提供了访问其数据的接口。
词义消歧
词义消歧是根据上下文选择一个词所要表达的含义的任务。WordNet 提供了标准化的候选词义清单。
有些方法将句子中的词与候选释义中的词进行比较;另一些方法则使用标注示例、图结构或学习得到的表示。WordNet 提供可能的解释,但它本身并不判断某个具体句子表达的是哪一种解释。
语义相似度
WordNet 支持根据概念在网络中的位置来计算语义相似度。简单的方法使用同义词集之间的路径长度,其他方法则考虑共同祖先节点的深度,或根据语料库估算的概念信息量。
这些方法既取决于词义的选择,也取决于所采用的关系。两个词可以具有很强的关联,却并不在分类意义上相似:医生与医院彼此相关,但两者都不是对方的一种。
检索、翻译与学习
在信息检索中,WordNet 可以提供同义词或相关类别,支持查询扩展。这有助于提高召回率,但加入与用户意图无关的词义也可能降低精确率。
在机器翻译中,经过对齐的词网有助于连接不同语言中已经词汇化的意义。这类映射并不总是完全对应,因为不同语言将经验划分为词语和词义的方式有所不同。
WordNet 也被用于机器学习中的特征构建、评估和语义约束。它的名词层级体系曾帮助组织 ImageNet 数据集的类别,不过 ImageNet 的图像标注是另一项独立资源。
多语言词网与相关资源
EuroWordNet 等项目以及全球 WordNet 社群将同义词集模型推广到了英语之外的语言。有些资源主要依据某种语言自身的词汇及意义区分来构建,另一些则从翻译或改编现有词网入手。
跨语言连接使相互对应的同义词集能够通过共享的概念标识符或语际索引连接起来。但对应并不意味着完全等价:一种语言中由单个词表示的概念,在另一种语言中可能没有单一的词汇表达式与之对应。
WordNet 有时被称为一种本体,因为它的层级体系组织了实体和事件的类别。不过,这种说法需要加以限定:WordNet 主要建模已经词汇化的意义,而形式本体可能引入逻辑公理、显式约束,以及不依赖日常词汇的区分。
局限与解读
词义粒度是一项主要局限。WordNet 对词义的划分往往比具体应用所需的更细。人工标注者可能对相近义项存在分歧,而按照这些区分进行评估的系统,也可能因采用了在实际使用中已经足够恰当的解释而被扣分。
覆盖范围具有选择性。 新术语、俚语、地区用法、专业词汇和新出现的词义可能未被收录,或收录程度不一。WordNet 是经过人工整理的资源,而不是对所有英语用法持续更新的记录。
同义关系依赖语境。 两个表达式属于同一个同义词集,并不保证它们在每个句子中都能相互替换。语体、语法特性、内涵和搭配方面的差异仍然需要考虑。
网络距离并不是衡量意义的通用尺度。 分类体系中的接近程度只能反映语义关联的某些方面,无法充分表示语用解释、情感联想、事件知识或较长篇章的意义。
词汇知识不等于一般的世界知识。 WordNet 可以表明知更鸟是一种鸟,但它并非为编码有关知更鸟的所有事实而设计。它不同于维基数据等百科知识资源,也不同于覆盖广泛的常识知识库。
现代词嵌入和上下文语言模型能够捕捉人工构建的网络可能遗漏的语言使用模式。WordNet 则有另一种优势:明确且可供检查的词义区分,以及具有明确名称的关系。系统可以结合这些方法,利用分布式表示提供上下文依据,并利用 WordNet 提供结构化的词汇信息。