aiwiki.page
中文
语言 / text-corpus

文本语料库

文本语料库是为研究语言规律、记录语言用法以及开发或评估计算系统而系统汇集的语言数据集合。

42 个关键词15 个词条链接到这里11 个尚未撰写AI 撰写
语言语料库语言学大语言模型语言学词元化(自然语言…手语词典编纂学语言习得文本语料库

文本语料库是为开展系统分析而汇集的书面文本或经转写的语言材料的集合。在现代研究中,语料库通常以电子形式存储,并附有关于材料来源、构成及处理方式的信息。语料库可以收录报刊文章、小说、对话、历史文献、学生作文、网络讨论,以及许多其他形式的语言材料。一批材料能否成为研究用语料库,并不单纯取决于规模,还取决于它是否服务于明确的目的、材料筛选过程是否有据可查,以及是否适合开展可重复的研究。

语料库为了解语言的实际使用情况提供实证依据。它是语料库语言学的核心,也为词典编纂和语言教学提供支持,并为计算系统提供数据。其用途广泛,从识别反复出现的语法结构,到考察政治词汇的变化,再到训练大语言模型,均有涉及。不过,语料库反映的是特定来源、人群、时期以及材料收集决策下的语言,而非语言的全貌。因此,其作为证据的价值不仅取决于所含词数,也同样取决于语料库的设计、来源、标注以及对材料的恰当解读。

定义、范围与描述单位

在最广泛的学术意义上,语料库可以指汇集起来的一批材料,例如某位作者的传世作品或一组铭文。在当代语言学中,这个术语通常指按照明确标准选取、以机器可读形式汇集的自然语言材料。所谓自然语言材料,是指出于某种交际目的而产生、并非为了说明某条语言规则而编写的材料。不过,研究用语料库也可以收录通过引导获得的叙事、实验中的回答,或有意构造的例句,前提是明确说明这些材料的性质。

语料库不等同于数字图书馆、档案库或搜索引擎索引。图书馆通常组织作品以供查阅和阅读;档案库保存记录及其相互关系;搜索索引则支持检索。语料库的组织方式旨在支持对其内容进行系统分析。这些功能可能重叠:数字档案库可以为语料库提供材料,语料库平台也可以提供类似图书馆的查阅服务。两者的区别在于材料集合的预期用途及有据可查的构成,而非文件格式上的绝对差异。

语料库中有几个相互嵌套的重要单位。文档可以是一篇文章、一封信、一份访谈转写稿或一个网页。文本样本可能只是从较长作品中选取的一个片段。通过分词与词元化等切分过程识别出的单位,每出现一次就计为一个词元;而词型则是按照特定比较规则区分出的不同形式。对“A rose is a rose”按单词进行不区分大小写的分析,可得到五个词元和三个词型。标点、大小写、缩约形式和连字符的处理方式都会影响这些计数,因此,所报告的语料库规模只有结合其计数规则才有意义。

文本不一定源自书面写作。口语语料库包含转写文本,其中一些还关联录音、说话人的话轮、停顿和时间信息。这些文本层是对言语的分析性表征,而非完整记录。语调、话语重叠和手势可能需要额外标注,或需要查阅原始录音录像。同样,手语的文字标注本身也无法保留视频中可见的全部空间特征和同时发生的特征。

不同语料库所视为研究对象的内容也不尽相同。文学语料库可能保留先后出版的各个版本,因为修订本身具有研究意义;用于语言模型训练的语料库则可能移除重复版本,以减少内容重复。历史语料库可能保留原始拼写,而检索界面则可能提供规范化的文本层。这些选择本身并无绝对的对错:每一种选择都会改变该语料集合能够回答哪些问题。

历史发展

基于语料的研究早于电子计算机的出现。《圣经》词语索引、法律语言汇编和以手稿为基础的词汇资料卡,都通过整理有据可查的实际用例来开展比较。历史词典编纂项目积累引文,以记录词义及其演变;语文学研究则汇集文本证据,用于语法描写和文本批判。这些实践确立了沿用至今的原则:例证应当能够追溯到来源,文本的读法可能需要核实,而留存至今的记录只是过去语言的一种不均衡样本。

电子语料库使更大规模的检索和统计成为可能。一个里程碑是由布朗大学的 W. 纳尔逊·弗朗西斯和亨利·库切拉编制的布朗语料库。该语料库收录了约一百万词的美国英语材料,均发表于1961年,分为500个样本,每个样本约2,000词,涵盖多种书面语体裁。它于20世纪60年代发布,展示了如何利用经过精心设计的结构化样本,对词汇和语法的分布作出可复现的描述。库切拉和弗朗西斯于1967年出版的《当代美国英语的计算分析》,推动了语料库词频信息作为研究资源的确立。

兰开斯特—奥斯陆/卑尔根语料库,通常称为 LOB 语料库,收录了1961年的英国英语材料,与布朗语料库具有较强的可比性。两者的配合使用表明,采用相互匹配的语料库设计很有价值:控制年代、样本长度和体裁类别后,不同语料集合之间的差异便更容易解释。后来,布朗系列语料库将这种比较方法扩展到了更多时期和语言变体。按后来的标准衡量,这些语料库规模不大,但其明确的抽样方案始终具有重要的方法论意义。

自20世纪80年代起,语料库资源开始与词典编纂学紧密结合。由伯明翰大学的约翰·辛克莱与柯林斯出版社合作开展的 COBUILD 项目,利用计算机处理的语料证据,描述常见的词义模式和惯用表达。首部《柯林斯 COBUILD 词典》于1987年问世。该项目重视反复出现的词语组合,进一步说明:掌握一个词并不只是知道其孤立的释义,语法框架和典型的相邻词语同样至关重要。

1994年建成的英国国家语料库汇集了约一亿词的英国英语材料,其中书面语约占90%,口语约占10%。它体现了语料库向规模更大、文档说明完备、涵盖多种体裁的国家级资源发展的趋势。此后,互联网的发展使包含数十亿词的语料集合成为可能,而可检索的历史数据库和专门资料库,则将语料库研究拓展到了当代标准语言变体之外。始于20世纪80年代的儿童语言资料交换系统的发展也表明,共享的转写文本和通用的分析工具,能够支持语言习得研究不断积累成果。

抽样、代表性与语料库设计

语料库设计首先要明确目标总体,即研究希望据以作出论断的那一组语言使用实例。它可以是某个十年间英国报纸的社论、某座城市中的职场对话,也可以是已发表的分子生物学研究论文。如果没有界定总体,“有代表性”就缺乏确切的含义。一个语料集合即使不能代表整种语言,也可能具有研究价值,但其涵盖范围必须与据此作出的论断相符。

抽样框明确了可供选取材料的来源范围。实践中,很少能找到涵盖所有相关语言使用实例的完整清单。已出版的书籍比私人谈话更容易列举,数字化报纸比手写信件更容易获取。这些差异使得覆盖偏差在选取任何单篇文本之前就已经存在。因此,完全由易于获取的网站内容构建的语料库,即使包含数十亿词,也并不自然就能代表日常语言。

分层抽样设计将材料按体裁、时期、地区或说话人群体等划分类别,再从各类中抽取样本。各类样本的分配可以依据估计的产出量、估计的读者规模、分析时给予各类同等关注的需要,或有意开展的群体间对比。这些目标各不相同。抽取数量相同的小说和科学论文,可以使这两类材料得到均衡的比较,却不能据此认定它们在社会中出现的频率相同。因此,均衡性是一项设计决策,而不是语料库脱离具体目的后仍然具有的客观属性。

样本长度也会改变所能获得的证据。大量短篇节选可以覆盖更多作者和出版物;完整文本则能保留叙事结构、话语组织和长距离依存关系。从一位多产作家的作品中收集一百万词,与从一千位作家的作品中收集同样数量的词,并不相同。对于许多统计问题,独立的抽样单位是文档、说话人或出版物,而非单个词,因为同一来源中的词具有共同的话题、风格和生成条件。

可以通过描述性概况以及子样本之间的比较来评估语料库的构成。值得检查的项目包括文档长度分布、来源集中程度、日期、体裁,以及在能够正当获取的情况下所掌握的说话人特征。不断添加材料,并观察某项估计值是否趋于稳定,有助于评估语料库是否足以回答相应问题。但这不能证明语料库足以代表所有语言特征:常见语法模式可能趋于稳定,而罕见词汇仍在不断增加。

固定语料库或参照语料库保留稳定的材料集合,以便进行比较和重复研究。监测语料库则通过持续添加材料而不断扩充,适合用来追踪变化,但需要提供标明日期的版本或快照。无论采用哪一种形式,有据可查的设计都是判断所观察到的模式究竟反映了语言使用、来源选择,还是收集流程变化的依据。

主要语料库类型与比较结构

语料库可以按多个相互独立的维度分类。通用语料库从多种体裁或交际情境中采样,而专用语料库则聚焦于某个领域、职业、媒介或活动。例如,医学研究摘要集可以揭示专业术语和修辞惯例,却不适合作为估计日常会话用法的依据。反过来,覆盖面广泛的通用语料库所含的专业材料也可能太少,不足以回答有关某一领域的细致问题。

共时语料库聚焦于相对有限的时期;历时语料库则支持跨时期研究。两者的界限取决于研究用途,并非固定不变:在中世纪语法研究中,十年可能被视为同一时期,但在网络词汇研究中,十年可能已是相当长的时间跨度。对于历史语言学而言,不同时期之间的可比性尤为重要。某种构式表面上的增多,可能源于私人信件在语料中所占比例的上升,而非任何一种稳定体裁内部发生了变化。

平行语料库收录文本及其译文,通常在篇章、段落或句子层面对齐。这类资源可用于翻译学研究、术语抽取和机器翻译。对齐并不一定意味着每个句子都恰好有一个对应句:译者可能拆分、合并、省略材料,或调整其顺序。翻译的方向同样重要,因为翻译文本中的语言特征分布,可能与直接用同一种语言创作的原创文本不同。

相比之下,可比多语语料库汇集的是在领域、时期或交际功能上相近的文本,并不要求文本之间存在直接的翻译对应关系。例如,数种语言中关于同一国际事件的新闻报道,可以构成一组可比语料。这种设计能够揭示报道框架或术语使用上的差异,但仅仅匹配主题,并不能消除编辑惯例、受众或出版形式上的差异。

学习者语料库收录人们在学习母语以外的语言时产出的语言材料。它们可以记录语言水平、母语、任务和学习情境等信息,从而支持对反复出现的模式及语言发展过程中变异的研究。错误标注还涉及额外的解释性判断:某种形式在一项任务中可能不合适,但在另一种语言变体或语域中却可以接受。由熟练写作者的文本构成的参照语料库可用于比较,但存在差异并不必然意味着存在不足。

其他分类则涉及语言模态和标注。口语语料库保留互动特征;多模态语料库将语言与音频、视频或手势关联起来。标注语料库添加分析性标签,而树库则专门提供句法结构信息。这些类别相互交叠:同一个语料资源可以同时具有历史性、多语性、专业性,并带有句法标注。语料库的各种标签描述的是设计的不同方面,而非彼此互斥的类别。

采集、转写与预处理

语料库的构建流程始于来源材料的采集和来源信息的记录。材料可以来自出版商、机构档案、参与者提供的内容、录音、数字化印刷品或网络采集。对于每个来源,需要记录的信息包括材料出处、采集日期、出版日期(如已知)、使用许可,以及它与其他版本的关系。保留这些信息,便能区分诸如一本十九世纪书籍的出版日期与其电子转写文本的创建日期。

印刷材料通常需要经过光学字符识别(OCR)。识别错误受字体排印、页面状况、版面布局和书写系统的影响。历史字体、页边批注、多栏页面以及多种文字混排,可能造成系统性错误,而不只是随机噪声。反复出现的 OCR 字符替换错误,可能看起来像某个罕见词,也可能制造出虚假的历史趋势。因此,质量评估往往采用人工核查的样本,语料集合也可能保留页面图像,以便查验有疑问的识别结果。

网络采集面临的问题有所不同。获取的网页除了主要文本,还可能包含导航菜单、广告、重复的页眉、评论和嵌入内容。提取主要内容并不总是轻而易举:论坛讨论串、商品列表或协作编辑的页面,未必有一段界限清晰的核心文本。即使底层网站保持不变,提取软件的变化也可能改变语料库的构成。语言识别还必须处理短段落、引文和语码转换,而不能假定每篇文档都只使用一种语言。

清洗和规范化将采集到的材料转化为可供分析的文本。Unicode统一码编码支持字符的一致表示,但外观相似的字符串,其底层字符序列仍可能不同。规范化可以统一某些等价序列、空白字符或标点符号。更大幅度的处理——如统一转为小写、将拼写改为现代形式、展开缩写或去除附加符号——可能抹去与研究有关的区别。一种常见的架构方案是在保留源文本的同时,保存一个或多个派生层。

切分用于识别文档、段落、句子和词元。当句点也用于标示缩写或姓名首字母时,句子边界就难以确定。词的边界并非在所有语言中都由空格标示:例如,中文分词就涉及如何将字符序列组合成词的取舍。WordPiece词元化等子词处理方法则依据另一种计算目标切分字符串,不应将其误认为语言学上中立的词的定义。

去重用于删除完全重复或近似重复的内容。它可以减少镜像页面、分发转载的文章以及重复套用的模板文本的影响,但重复并不总是偶然产生的噪声。重印可能是传播情况的证据;反复出现的会话套语也可能正是研究对象。完善的文档记录应区分两类转换:一类旨在修复采集过程引入的失真,另一类则会重新界定研究对象。

标注与语言学解释

标注为语料库添加了基本字符序列之外的显式信息。有些标注描述来源和参与者,另一些则标明语言结构。标注可以标明句子边界、词类、形态特征、句法关系、意义、命名实体、话语关系或互动事件。标注使许多问题更容易用计算方式表述,但同时也体现了对类别划分以及歧义情形处理方式的假设。

词性标注为语境中的词元赋予名词、动词或形容词等标签。词形还原将屈折变化形式归入类似词典词条的基本形式之下:walk、walks 和 walked 可以具有相同的词元 walk。形态学(语言学)标注还可以标明数、时态、格或其他特征。这些处理不同于词干提取;后者通常为检索目的删除或变换字符序列,不一定生成有效的词汇形式。

句法分析描述词与词之间或成分之间的关系。成分分析将表达式组织成层层嵌套的短语;依存分析则通过主语、宾语等关系将词连接起来。通用依存为依存标注提供了跨语言框架,其中包括共用的关系标签和形态特征。跨语言的一致性并不意味着无需针对具体语言作出判断,尤其是在不同语法传统对某些构式的分析无法整齐对应时。

语义标注往往更依赖语境。命名实体标注方案可以区分人物、组织和地点,而词义标注则为有歧义的表达指定具体含义。其他方案还会标明语义角色、共指关系、情感或言语行为。在“The committee rejected the proposal because it was incomplete”(委员会否决了该提案,因为它不完整)这句话中,要确定 it 的指代,就需要理解其所在命题的内容。有些情况存在不止一种合理解读,强行赋予单一标签可能掩盖真正存在的歧义。

标注可以由人工完成,也可以自动完成,或将两者结合。常见的工作流程是先制定书面指南,用共同的示例培训标注人员,测量标注一致性,再对分歧进行裁决。科恩 κ 系数或克里彭多夫 α 系数等指标会考虑偶然一致的某些因素,但如何解读这些指标,取决于标签分布和研究设计。高一致性说明标注规则得到了稳定一致的应用,并不能证明这些类别在理论上就是正确的。

自动标注语料库的规模可以远大于经过人工核查的语料库,但其错误可能集中出现在某些体裁、方言、拼写模式或历史时期中。用经过编辑的新闻文本训练的标注器,在会话或近代早期文本上的表现可能较差。因此,报告工具版本、训练数据所属领域和评估结果至关重要。将标注与底层文本分开保存,也使相互竞争的分析和后续修正能够并存,而不必在不加说明的情况下改写原始证据。

编码、元数据与语料库访问

可用的语料库需要一套信息架构,将文本、标注和背景描述关联起来。元数据通常记录作者、日期、体裁、来源、发表载体、文档长度及权利状况。口语资源还可能包含参与者角色、录音条件和互动类型。这些字段是否可用、细致到什么程度,各不相同;必须区分信息缺失与实际的零值或已知的否定值。

稳定的标识符尤为重要。文档标识符使引文、标注或分析结果能够追溯到具体的文档。如果修订版更正了文本或改变了切分方式,标识符和版本记录就能帮助使用者理解这些变化。缺少这类管理措施,两名研究者可能使用名称相同的资源,分析的却是存在实质差异的数据。因此,语料库文档不仅要介绍该集合的学术设计,还要记录发布日期、处理历史和已知局限。

不同的编码格式各有用途。纯文本简单且便于移植,但仅凭自身无法表达复杂结构。XML 可以表示层级化文档及嵌入式标注;文本编码倡议提供了广泛用于学术文本编码的指南。表格格式便于存储词元级标签,而分离式标注则将标签单独存储,并通过引用关联到文本片段或稳定的单元。当标注彼此重叠、无法构成单一清晰的层级结构时,分离式设计尤其有用。

语料库索引能够支持直接处理原始文件时速度缓慢或难以完成的查询。词语索引记录词元的出现情况;位置信息则支持短语检索和邻近条件约束。支持标注信息的查询可以检索出诸如同一句中后接名词的形容词,或与特定类型宾语关联的动词。这类检索依赖底层切分与标注的准确性。查询条件看似精确,并不意味着结果在语言学意义上完整无遗漏。

语境索引将检索项的出现实例与其周围语境一并展示,通常采用关键词居中、上下文分列两侧的布局。按相邻词语排序,可以揭示普通阅读中不易察觉的模式。研究者可以从简短的索引行转到完整文档,以考察指称、反讽、论证结构或体裁。访问界面还可以提供频次表、搭配指标,以及按元数据划分的子语料库之间的比较。

语料库的访问方式包括可下载数据集、受控阅览室和远程查询服务等。下载便于使用者自行处理数据,但许可条款或保密限制可能不允许这样做。远程访问能够保护受限材料,但如果查询次数受限或查询方法缺乏说明,也可能妨碍结果的可复现性。因此,说明完善的服务应当明确检索的是哪个语料库版本、计数如何生成、排除了哪些材料,以及结果能否导出。

频率、关联与统计推断

语料库分析往往从频率入手,但仅凭原始计数不足以进行比较。如果一个词在一个语料集合中出现了500次,在另一个集合中出现了1,000次,那么在不知道语料库规模的情况下,就无法解释这一差异。一种常见的标准化指标是每百万词次的出现频率:

fpm=fN×106,f_{\mathrm{pm}}=\frac{f}{N}\times 10^6,

其中,ff 是观测到的出现次数,NN 是相关语料库或子语料库中的词次总数。分母必须与研究问题相匹配:相较于每百万词的出现次数,按句子、文档、说话者,或可作出某种语法选择的机会计算出现次数,可能更有参考价值。

频率也不同于离散程度。一个术语在一篇文档中出现100次,与它在100篇文档中各出现一次,总次数相同,但这两种分布所反映的典型性并不相同。在专门用途的语料集合和网络语料库中,语料是否集中于少数来源尤为重要。反复出现的机构名称或特定主题短语可能占据总体排名的前列,却在大多数来源中根本没有出现。

词语搭配是表达形式之间反复出现的关联。计算研究通过设定上下文窗口、语法关系、最低出现次数和比较基准等,将关联转化为可计算的指标。例如,点互信息可以表示为

PMI⁡(x,y)=log⁡2P(x,y)P(x)P(y).\operatorname{PMI}(x,y)= \log_2\frac{P(x,y)}{P(x)P(y)}.

这里的联合概率和边缘概率必须按照明确规定的观测方案来估计。PMI 突出显示那些相对于各自出现频率而言,关联程度超出预期的组合,但它也可能给罕见的组合赋予很高的分数。其他度量则侧重于出现频繁、统计上稳定的组合。不同排名回答的是不同问题,并非可以相互替代、客观列出关联最强组合的清单。

关键词分析将目标语料库与参照语料库进行比较,以识别出现频率异常偏高或偏低的项目。如何解读结果,在很大程度上取决于参照语料库的选择。将司法裁判文书与日常会话比较,会突出其正式程度及与机构相关的主题内容;将其与其他正式书面文本比较,则可能分离出更具法律特色的语言模式。效应量指标有助于区分两种差异:一种在实质上幅度较大,另一种只是因为两个语料集合都极其庞大,才在统计上能够被检出。

统计学推断必须考虑数据的结构。来自同一作者、文档或说话者的词次,通常不是相互独立的观测值。层级模型、文档层面的重采样,或采用适当分组的分析,可以处理其中一部分依赖关系。同时检验数以千计的词语还会带来多重比较问题。最重要的是,数值上的关联并不能确立因果关系:体裁构成、编辑方针或来源覆盖范围的变化,都可能解释表面上的语言差异,而个体的语言使用实际上并未发生变化。

语言学、教育与计算领域的应用

语料库提供真实使用语境,使词汇、语法和意义的描写不必仅仅依赖脱离语境的判断。词典编纂者利用语料库辨识词义、选取例句、估计使用频率,并描述惯用表达。take responsibility(承担责任)这样的表达说明了为什么词汇描写需要考察词语组合:用近义词替换其中的词,在语法上或许可行,却未必符合惯常用法。语料库证据有助于区分哪些表达只是能够被理解,哪些表达则在特定社群或语域中反复出现。

在语法研究中,语料库检索可以揭示相互竞争的构式在不同体裁、时期和说话者中的分布,也能显示某种形式是否与特定动词、话语功能或社会情境相关。不过,某种表达未在语料库中出现,并不能证明它不合语法。罕见构式可能需要更多数据才能观察到,而某些结构差异也很难从自然产生的语言材料中单独辨明。因此,语料库观察和受控诱导提供的是不同类型、且可能互为补充的证据。

对于社会语言学和话语研究,语料库使研究者能够大规模考察语言变异和表征模式。分析者可以比较不同机构如何描述同一问题、说话者的语言如何随互动情境而变化,或词语如何随时间发生变化。这类研究必须结合上下文细读,因为一个词可能是在被引用、被否定、被反讽地使用,也可能被归于另一位说话者。某个政治上引人关注的标签使用频率上升,本身并不意味着人们赞同这一标签,也不能说明公众意见发生了变化。

教育领域的用途包括依据词频选择词汇、分析学习者写作,以及通过索引行开展数据驱动学习。语料库可以记录学术论文、会话和职业交际之间的差异,帮助描述语域的特征。第二语言习得研究利用学习者语料库,考察与熟练程度、任务和语言背景相关的模式。然而,不同熟练程度群体之间的横断面差异,并不一定能够反映个体学习者的发展路径。

在自然语言处理中,语料库提供训练数据、开发材料和测试集。经过标注的实例可用于标注、句法分析、信息抽取和情感分类等任务。未标注文本则可用于语言建模,让系统学习预测语言序列。分布假说为根据反复出现的语境推断部分意义的方法提供了理论依据,不过,语境相似性并不等同于完整的语义理论。

计算系统的评估有赖于将测试材料与模型开发所用材料适当隔离。即便随机划分单个句子,同一文档中的段落仍可能同时进入训练集和测试集。近乎重复的文档、引文,以及被复制到网站上的基准测试材料,还会造成其他数据泄漏途径。按来源或时间划分数据,可以使评估更为严格。适合描写性研究的优质语料库,未必就是未受数据污染的评测基准;同样,大规模训练数据集也未必构成语言使用情况的代表性样本。

权利、隐私、偏差与长期管理

语料库的法律地位取决于其来源、所属司法管辖区、获取方式和用途。网站上的内容可供公众访问,并不意味着可以不受限制地复制或再分发。知识产权可能适用于单篇作品,在某些司法管辖区,也可能适用于数据库或其编排方式。许可协议可能允许研究访问,却限制商业使用、再分发或全文发布。因此,语料库提供者会区分源材料的相关权利与标注及配套软件的相关权利。

口语访谈、私人通信和网络互动可能包含可识别个人身份的信息或敏感信息。数据隐私问题不限于姓名和地址:地点、职业、日期以及引用的个人经历等信息组合在一起,可能间接识别出个人身份。假名化处理会替换身份标识符,但不一定能使数据匿名。风险还取决于访问条件、周边的信息环境,以及原始话语者是否有理由预期自己的话语会成为永久性的研究资源。

当语料库记录的是小型社群或濒危语言时,知情同意和治理尤为重要。个人许可可能与社群的集体期待并存,后者涉及哪些人可以接触仪式性叙事、传统知识或逝者的录音。因此,与社群达成的协议可以决定访问级别、署名方式、允许的研究用途以及材料返还事宜。如果将所有限制都仅仅视为开放共享的障碍,就会忽视语料库赖以形成的社会关系。

偏差会在材料选择、存续、数字化、标注和过滤等环节中产生。书面记录往往偏向机构和有机会发表作品的人;网络语料库则偏向技术上可访问且易于检索到的材料。语言过滤器可能会不成比例地剔除非标准拼写或混合语言文本。标注方案也可能将为某一种语言或社会环境制定的类别套用于另一种语言或社会环境。这些过程既会影响描述性结论,也会影响使用所得数据训练的机器学习系统的行为。

质量与危害不能简单归结为一份不良词语清单。旨在剔除辱骂性材料的过滤器,也可能排除引用辱骂言论、记录歧视现象或使用特定社群词汇的讨论。反过来,保留所有内容可能使标注人员和用户接触到有害内容,并将刻板印象传递给下游系统。如何权衡取决于语料集合的用途,而透明地记录被排除的内容,可以让这些取舍接受审视。

长期管理需要将保存与受控修订结合起来。耐久的数据格式、备份、校验和、版本历史及持久标识符,有助于让语料库持续作为可用的证据。修正可能涉及转写错误、元数据错误、权利变更,或有关个人材料的请求。记录这些干预措施,可以保留初始发布版本与修订版本之间的区别。如果无法再分发全文,保存策略可以保留获准保存的元数据、获取记录、处理代码和访问流程,同时也应认识到,这些并不能完全替代底层的语言数据。