词语索引是对一篇文本或一组文本中出现的词语或表达式进行系统编排的索引,通常附有显示其上下文的片段、标明其位置的参考信息,或同时提供二者。传统上,词语索引是按字母顺序编排的参考书;如今,则通常通过交互式操作,从文本语料库中生成。词语索引有助于考察语言的实际使用情况:读者可以对照某个表达式的多次用例,而不必在连续阅读文本时逐一遇见它们。词语索引是语料库语言学的基本工具,在圣经研究、文学研究和语文学中则有更悠久的历史。
结构与术语
典型的词语索引条目会指明检索项,列出它的各次出现,并提供足够的信息,以便在原文中定位。检索项通常称为节点词、关键词或词目。在这一语境下,“关键词”不一定指在统计上具有显著特征的词,也可能仅指正在检索的表达式。
词语索引可以包含:
- **条目或查询式:**词、短语、词形模式或语言学类别。
- **用例:**与条目或查询式相匹配的各个实例。
- **上下文:**周围的词语、句子或更长的段落。
- **来源位置参考:**页码、章号和节号、文档标识符或其他定位信息。
- **标注与元数据:**语法标签,或有关来源的信息,例如年代、体裁和说话者。
词语索引不同于简单的词频表,因为它会标明各次出现,而且往往展示其上下文,而不只是给出总数。它也不同于词典,后者的条目通常解释词语的意义或其他属性。词语索引的主要作用是整理特定文本集合中的证据,不过有些已出版的词语索引也包含释义和阐释性信息。
用于生成或检索词语索引的软件称为词语索引工具。“词语索引”既可以指一部完整的参考书,也可以指某次检索返回的结果集。
显示格式
关键词居中
最常见的电子显示格式是关键词居中,英文为 keyword in context,通常缩写为 KWIC。每个用例单独占一行,检索项在中间一列对齐,两侧显示一定长度的文本。
以下虚构例句展示了对 decision 的检索:
They postponed the decision until Friday.
It was a difficult decision to explain.
The committee reached a decision after lunch.
居中对齐使反复出现的模式更容易被察觉。按照紧邻节点词之前或之后的词排序,可以将相似结构归在一起。按照相邻的第二个或第三个词排序,则可以揭示因中间成分变化较大而不易察觉的模式。
显示的上下文范围通常可以调整。较窄的窗口便于快速浏览,而完整的句子或文档则能提供理解用例所需的信息。
关键词外置与基于位置参考的格式
在关键词外置(keyword out of context)的显示方式中,关键词用作标题,或与包含该词的片段分开列出。这种方式适合纸质参考书,因为其中的条目必须在没有交互控件的情况下仍易于阅读。
有些词语索引主要提供位置参考,而不大段引述原文;另一些则印出完整的句子、经节或段落。这些安排反映了用途的差异:查找一段记得的引文,与在数千个例子中比较语法模式,需要不同的呈现方式。
历史发展
词语索引最初是为辅助研读篇幅庞大、具有权威性的文本而发展起来的,尤其是宗教著作。中世纪的一个重要例子,是十三世纪由圣谢尔的于格及其道明会合作者参与编纂的拉丁文《圣经》词语索引。此类项目需要大量手工工作,收集并编排文本中的位置参考。
此后,《圣经》词语索引出现了多种语言和版本。亚历山大·克鲁登编纂的英文《圣经》词语索引于1737年首次出版,成为一部颇具影响的参考书。詹姆斯·斯特朗于1890年出版的《圣经详尽词语索引》,将英文《圣经》词汇与相应希伯来语、希腊语原词的编号条目联系起来。其编号系统使词语索引条目与词汇参考资料之间可以相互参照。
人们也为文学作家的作品和其他重要文本集编纂词语索引。这些索引提供了定位段落、考察反复出现的词汇,以及比较某位作者如何使用同一表达式的途径。它们对文学批评很有用,也可以辅助文本批判,但要确立文本,所需证据并不止于词语索引。
二十世纪,计算机改变了词语索引的编制方式。罗伯托·布萨的《托马斯著作索引》(Index Thomisticus)是一项为托马斯·阿奎那的著作及相关文本编制索引的大型项目,也是计算人文学科早期的一项重要工程。随着机器可读语料库日益普及,词语索引工作从编制内容固定的参考书,发展为交互式检索、排序、筛选和语言分析。
电子词语索引的生成方式
界定可检索单位
电子词语索引工具必须确定哪些内容算作可检索单位。**分词与词元化**将文本划分为词、标点符号等单位。这一过程因语言或书写系统而异。撇号、连字符、缩略语和复合词都可能带来不同的切分边界。对于中文文本,如果检索以词为单位,就可能需要进行中文分词。
检索设置可以选择保留或忽略大写规则所体现的大小写差异,以及重音符号、拼写变体和标点符号。这些选择会影响结果。区分大小写的检索可以区分某些专有名称和普通词语,但也可能因句首的大写而将原本相关的用例分开。
词形与词元
按表层词形建立的索引将 write、writes、wrote 和 written 等形式视为不同的检索项。**词形还原**将屈折变化后的词形与词典式的基本形式联系起来,使按词元进行的检索能够一并找出这些形式。这有助于考察一个词位的各种屈折变体。
词形还原并不能自动消解意义或语法功能上的所有差异。例如,saw 可以是名词、表示“锯切”的动词,也可以是 see 的过去式。因此,要准确归类,可能需要进行上下文分析。反过来,通过派生构词形成的词,也不一定会仅仅因为词根相同就被归入同一个词元。
标注与查询
借助词性标注,词语索引工具可以区分语法类别,或检索形容词后接名词等序列。标注更详尽的语料库还支持对句法结构进行查询,包括通过句法分析得到的结构。
检索还可以指定多词表达式、可选成分、间隔或备选形式。元数据筛选器可以将结果限定在某一时期、体裁、地域变体或说话者群体之内。
这些功能取决于语料库和软件。对自动赋予的语法标签进行检索,得到的是系统的分析结果,其中可能存在错误,并非得到保证的语言学分类。
用途
词典与语言描写
在词典编纂学中,词语索引为区分义项、选择例句、描述语法表现和识别常见组合提供证据。它们尤其适用于研究词语搭配,即词与词之间反复出现的关联。
索引行可以显示某个表达式更常用于某种结构、主题领域或评价性语境。通过展示不同意义如何出现在不同环境中,词语索引也有助于研究多义现象。此类区分通常需要解释分析,而不能仅靠计数。
语言教学与学习
学习者可以查看索引行,研究介词、短语模式、用词选择以及近义词之间的差异。这种方法常与数据驱动学习联系在一起;在这种学习方式中,经过筛选的例子作为证据,供学习者从中发现模式。
词语索引材料可以来自通用语料库,也可以来自某一学科的文本。其效用取决于例子是否适宜、所提供的上下文有多少,以及学习者解读这些材料的能力。
翻译与术语
双语词语索引工具在平行语料库中检索已对齐的文本,将原文片段与译文并列显示。它可以揭示某个表达式在不同语境下的译法,并支持对翻译对等的研究。
对于专业领域的术语学研究,词语索引有助于识别反复出现的专业表达式及其上下文。一组对齐的原文和译文只是某次翻译选择的证据,并不能证明同一对应译法适用于所有情形。
文学、历史与话语研究
研究者利用词语索引,追踪某位作者作品中或不同文本集之间的词汇、反复出现的短语以及主题模式。历史比较可以为语义变化提供证据,但须考虑拼写、文本存留情况和语料库构成方面的差异。
词语索引还支持对语域、社会变异和话语的研究。反复出现的关联可以为深入分析提供线索,但仅凭简短的索引行,未必能确定反讽、说话者意图,或某段文字在更大论证中的作用。
局限与解读
词语索引展示的是其来源材料中的用例,而不是一门语言不受范围限制的全貌。若干局限会影响解读:
- **语料库构成:**在某个专业文本集中常见的模式,在其他地方可能并不常见。体裁、时期、作者以及文档选择都会影响结果。
- **证据缺失:**未能检索到某个表达式,可能源于覆盖范围有限、拼写变异、查询设计或标注错误,而不代表该表达式在语言中不存在。
- **上下文受限:**过短的索引行可能掩盖否定、引语、先行词或说话者的变化。更长的段落可能不可或缺。
- **分布不均:**大量用例可能来自同一篇文档,或来自同一材料的多个副本。仅凭频次并不能证明某种用法广泛流行。
- **处理错误:**文本识别错误、切分方式和不准确的标注,都可能产生错误匹配或遗漏相关用例。
- **抽样与显示:**随机样本、按文档顺序显示的前几条结果,以及经过排序后选取的结果,可能使人对同一数据集形成不同印象。
因此,最好将词语索引理解为一种有组织地呈现文本证据的方式。提出定量论断,还需要采用适当的计数单位、关注分布情况,并在必要时进行统计学分析;对意义作出判断,则需要考察足够的上下文。