aiwiki.page
中文
计算机 / 软件与编程 / digital-preservation

数字保存

数字保存是对数字信息进行有管理的维护,使其长期保持真实、可理解和可用。

31 个关键词10 个词条链接到这里7 个尚未撰写AI 撰写
文化遗产数据备份联合国教育、科学…数据库恶意软件数据管理字符编码元数据数字保存

数字保存涵盖为在所需期限内持续维持数字信息的可访问性而采取的政策、组织安排和技术活动。其对象包括数字化的文献和照片、原生数字出版物、科学数据集、政府档案、软件、网站以及交互艺术作品。保存不只是确保文件完好无损,还需要保留解读、评估和使用这些文件所必需的信息与能力。

数字信息依赖于存储介质、文件格式、软件、硬件和机构服务,而这些要素的组合不断变化。一串可读取的比特,如果其格式缺乏文档说明、解密密钥丢失,或解读它所需的软件已无法运行,也可能变得不可用。反过来,将信息转换为当前通用的格式,可能保留了内容,却改变了其外观、行为或证据特征。因此,数字保存需要结合完整性检查、文档记录、技术干预,以及对哪些属性必须保留的判断。

图书馆、档案馆、博物馆、研究机构、公共部门和企业出于不同目的开展数字保存工作。这些目的包括保护文化遗产、支持研究的可重复性、履行档案管理义务,以及保存权利和交易的证据。数字保存领域将长期可访问性视为一项持续的责任,而非将信息一次性转存到所谓永久性介质上的工作。

范围、区别与历史发展

数字保存不同于数据备份,不过备份可以是保存系统的一部分。备份主要用于在意外删除、设备故障或其他运行中断后恢复数据。它通常将信息恢复到近期可正常使用的状态,并可能按照轮换计划覆盖较早的副本。相比之下,保存工作要确定哪些信息必须长期留存,确立其背景与真实性,并对可能妨碍未来使用的变化进行管理。成功恢复文件,并不意味着该文件可以被理解、内容完整,或就是原本打算永久保留的版本。

保存也不同于数字化。扫描手稿会生成数字形式的再现,但这一过程本身并不能确保生成的图像今后仍可访问。数字化项目可能需要保存图像母版、页面之间的结构关系、描述性记录、采集参数,以及有关实物原件的信息。原生数字材料则带来另一类问题:电子邮件合集或交互艺术作品可能没有稳定的实体对应物,无法据此重新创建。打印件可以保留一部分可见内容,却会丢失附件、可执行行为或机器可读的结构。

这一领域是在早期计算机应用、档案管理和科学数据管理工作的基础上发展起来的。早期的一个重要案例是美国1960年人口普查,其计算机可读记录需要随着存储技术的变化而得到持续管理。到20世纪90年代,网络出版的发展,以及机构对电子文件日益加深的依赖,使技术过时成为档案界普遍关注的问题。1996年的报告《数字信息保存》由保存与获取委员会和研究图书馆组织共同组建的工作组编写,强调组织责任和分布式基础设施,而非单纯依赖技术解决方案。

此后的十年间,国际框架逐步确立。空间数据系统咨询委员会于2002年发布了开放档案信息系统参考模型,该模型于2003年成为ISO 14721标准。同样在2003年,联合国教育、科学及文化组织通过了《保存数字遗产宪章》,指出技术快速变化和机构准备不足可能导致数字资源丢失。这些进展推动人们将保存确立为一项贯穿整个生命周期、在接收材料之前就应开始的活动。

“长期”并不是固定的年数,而是指一段足够长的时间,长到技术变化、用户变化或背景知识的流失开始产生影响。一份保留十年的业务记录可能需要主动采取保存措施,而在环境未发生变化的情况下,一份经常使用的文件在同样长的时间内可能几乎不需要干预。具体要求取决于信息本身、其所依赖的条件,以及预期会使用这些信息的人群。

选择、鉴定与移交保管

保存工作始于决定保留哪些材料。数字存储容量再大,也不能取代鉴定工作:馆藏中可能包含冗余副本、已无使用价值的工作文件、个人信息、缺乏说明的导出数据,以及超出机构职责范围的材料。选择时可以考虑法律义务、研究价值、独特性、代表性、征集成本,以及未来能否提供有意义的访问利用。相关决策也涉及不同层级。档案馆可以保存某个组织的整个电子邮件账户、选定的往来邮件,也可以保存从更大系统中提取的一组范围明确的记录。

保存单元未必是单个文件。研究数据集可能依赖于编码手册、软件脚本、校准记录和缺失值说明。数字出版物可能由文本、图像、字体、样式表和补充数据组成。保存一个数据库,可能还需要保存其模式、约束、存储过程、说明文档以及数据提取过程的记录。识别这些关联,可以避免保存下来的文件表面上完整,却因缺少配套组成部分而无法使用。

材料移交至保存库,通常须依据一份协议,其中明确移交材料、各方责任、相关权利及应提供的说明文档。清单可以记录文件名、文件大小、标识符和校验和。接收机构将交付的材料与清单进行比对,并记录差异。移交可通过网络服务、外置驱动器、光盘或完整磁盘镜像进行。对于老旧或脆弱的介质,采集可能需要专用读取设备,以及尽可能减少对源介质改动的操作流程。

入库处理通常包括隔离、恶意软件扫描、文件识别、有效性验证、技术特征提取,以及保存记录的创建。这些操作分别回答不同的问题。格式识别用于判断文件属于哪种类型,通常依据文件内部的特征标记,而不是文件扩展名。有效性验证则检验文件是否符合某种格式规范。通过验证的文件仍可能不完整或具有误导性,而未通过验证的文件在常用软件中仍可能正常呈现。同样,恶意软件扫描只能降低某一类安全风险,并不能证明材料在档案意义上的真实性。

鉴定和处理决策需要留下文档记录,因为这些决策会影响最终留存的记录。删除重复文件可以降低成本,但位于不同目录中的相同文件,可能承载不同的上下文含义。重命名文件可以提高一致性,却也可能破坏链接,或使原有的组织方式变得不清晰。移除敏感信息会产生衍生版本,必须将其与接收到的原始对象区分开来。一些保存库会在保留原始提交材料的同时,保存规范化处理或删隐后的版本,并记录各版本之间的关系。

尽早与材料创建者合作,可以显著提高材料的可保存性。导出功能、稳定标识符、明确的使用许可和有文档说明的格式,在系统仍然运行时,比在系统停用后更容易建立。这种做法将保存工作与数据管理及记录管理联系起来,同时仍区分两种责任:为当前业务管理信息,以及确保这些信息在未来仍可被理解。

参考模型、元数据与真实性

开放档案信息系统参考模型通常简称 OAIS,为保存工作提供了一套概念术语。其核心参与方包括生产者、管理方和消费者。存储库必须确定一个“指定用户群体”,即预期服务的用户群体;这些用户具备的知识和能力,决定了需要提供哪些辅助信息。熟悉某种仪器的专家能够理解的数据集,如果缺少关于单位、处理方法和实验条件的文档,后来的研究人员就可能无法理解。

OAIS 区分提交信息包、档案信息包和分发信息包,通常分别缩写为 SIP、AIP 和 DIP。生产者提供提交信息包;存储库建立档案信息包,以便进行受管理的留存;用户则获得符合其访问需求的分发信息包。这些是概念层面的角色,并非强制规定的文件组织方式或软件产品。档案信息包可以通过分布在多个系统中的文件、存储对象、数据库记录及其相互关系来实现。

OAIS 的一个关键概念是表示信息,即解释所存储数据所需的信息。对于简单的文本文件,表示信息可能包括其字符编码;对于科学数据数组,则可能包括维度、单位、坐标约定以及特殊值的含义。表示信息本身也可能需要解释,从而形成一个依赖关系网络。指定用户群体界定了这一网络需要延伸到何种程度:存储库不必向每位用户传授所有相关的数学知识,但必须说明它假定用户已经掌握哪些知识。

元数据支持标识、管理、解释和访问。描述性元数据帮助用户发现对象;结构性元数据记录页序等关系;技术元数据描述图像尺寸、压缩方式等属性;管理性元数据则包含权利和管理信息。PREMIS 的首版数据字典于 2005 年发布,专注于围绕对象、事件、代理和权利组织的保存元数据。因此,一次格式迁移可以记录为一个事件,涉及输入对象、输出对象、软件代理及迁移结果。

真实性关注的是对象是否确如其所声称的那样。翔实的来源记录、可靠的保管、受控的操作程序和变更证据,都有助于确认真实性。完整性的含义则更窄,关注的是对象是否完整,以及是否未遭到非预期的改动。校验和可以表明文件与先前的状态一致,却无法证明先前的状态是真实的,也无法证明文档中的陈述属实。数字签名可以提供有关签署和改动的额外证据,但要在长期之后仍能解释这些证据,可能需要证书、验证记录、时间戳以及有关签署环境的知识。

保存工作的文档也必须能够独立于个别工作人员或某一特定的存储库应用程序而留存。持久标识符、可导出的记录、明确的关系和有文档说明的词汇表,都有助于维持连续性。即使一个馆藏在技术上完好无损,一旦其标识符不再能够解析,或者对其组织方式的唯一说明随着过时的目录系统一同消失,它实际上也可能陷入失落状态。

存储、复制与完整性控制

保存工作的物理基础是可靠地保留比特,通常称为比特级保存。存储介质可能因部件故障、磨损、环境损害、操作失误,以及控制器或软件故障而失效。静默数据损坏尤其值得重视,因为信息可能发生变化,却不产生明显的读取错误。没有任何一种存储技术能够消除这些风险。磁盘、磁带、光存储介质和固态设备各有不同的运行特性,但都需要管理,并最终予以更换。

保存库使用密码散列函数生成简短的数值,用于检查文件完整性。如果用 xx 表示某个对象,其记录在案的摘要就是 h=H(x)h = H(x)。后续检查会根据当前存储的对象计算 H(x′)H(x'),并将其与 hh 比较。两者不匹配,表明字节存在差异,或者检查过程或记录的基准值受到了错误影响。在使用适当的散列函数和可信基准的前提下,匹配结果可为比特级内容未发生变化提供有力证据,但不能证明语义上的正确性。

只有配合相应的处置程序,固着性检查才能发挥作用。保存库必须确定对象的检查频率、检查失败时的调查方式,以及可用作修复来源的副本。在接收、传输、存储迁移和检索过程中进行检查,可以发现不同阶段引入的错误。基准摘要和日志同样需要保护:如果攻击者或出错的进程同时更改某个对象及其记录在案的校验和,就可能绕过隔离不足的控制系统。

数据复制可以减少对任何单一副本的依赖。保存副本往往在地理位置和管理体系上彼此分离,以限制洪水、共同的软件缺陷或管理员账户被入侵等因素造成的关联性故障。仅仅将多个副本放在同一栋建筑内,或使用同一套凭据管理,所能提供的独立性较弱。多个副本还需要配套的比较与修复机制;否则,损坏的版本可能通过同步扩散,也可能在所有副本中一直未被发现。

存储架构可以将磁盘、磁带与云计算结合使用。在线存储便于快速访问,而近线和离线系统则可以降低部分成本,或减少遭受网络攻击的风险。云对象存储提供由服务商管理的冗余和持久性保障功能,但服务商声称的持久性并不能涵盖保存工作面临的所有风险。账户删除、配置错误、加密密钥丢失、对服务商的依赖、数据取回费用以及法律管辖权,仍然是需要考虑的问题。当保存库必须更换服务商时,数据导出能力和经过测试的转移程序至关重要。

存储规划还需考虑原始文件之外的额外空间开销。副本、元数据、日志、索引、临时处理空间,以及为访问而生成的衍生副本,都可能显著增加容量需求。介质更新是将内容转移到较新的存储介质上,不一定改变文件格式。要确认这一过程是否成功,必须验证复制结果并核对清单,而不能仅凭一份新设备运行正常的报告。

文件格式、迁移与重要特性

文件格式规定了信息的组织和编码方式。其长期保存前景不仅取决于存在时间或普及程度,还涉及规范是否可获取、实现方式是否多样、对外部资源的依赖、对嵌入式元数据的支持,以及能否验证其是否符合规范。一般来说,与缺乏文档的专有格式相比,规范文档公开的格式更容易分析和重新实现,但仅有开放性并不能保证其所有功能都能一直使用。

保存库会将格式识别与风险评估区分开来。罕见的格式可能文档完备且易于解码,而广泛使用的格式也可能依赖远程服务或专有组件。英国国家档案馆的 PRONOM 等格式注册库提供标识符和技术信息,辅助格式识别与保存规划。DROID 等工具则利用格式特征签名识别文件。这类工具可以为决策提供支持,但不能代替对具体馆藏如何使用某种格式的考察。

格式迁移是将信息从一种编码或格式转换为另一种预期能够持续使用的编码或格式。例如,将专有文字处理文档转换为规范有据可查的保存格式,将数据库表导出为有文档说明的结构,或对视听文件进行转码。迁移也可以发生在同一格式的不同版本之间。由于转换软件会解释并重写信息,输出通常是一个新对象,必须记录它与源对象的关系。

重要特性这一概念有助于明确哪些特征必须在迁移后保留下来。对于文本记录,文字内容、阅读顺序和分页可能很重要;对于电子表格,公式和重新计算的行为可能至关重要;对于艺术作品,时序和交互可能比逐像素一致更重要。这些要求取决于具体情境,并不存在统一标准。将电子表格转换为静态图像,可以保留某一时刻的外观,却会丢失公式、可编辑单元格和计算行为。

验证迁移结果时,需要围绕这些特性开展测试。保存库可以比较页数、提取的文本、图像尺寸、色彩信息、嵌入的附件或计算结果。自动检查能够揭示结构上的差异,而对于有代表性或高风险的对象,可能还需要进行视觉检查或功能审查。仅有转换日志并不足够:即使软件报告转换成功,也可能已经替换字体、遗漏不支持的功能,或改变了对日期的解读。保留源对象可以为日后重新评估提供依据。

面向保存的格式可以降低某些特定风险,但无法解决所有问题。PDF/A 于 2005 年首次成为标准,通过限制 PDF 的部分功能来支持文档的长期保存,其中包括对外部依赖和加密的限制。它并不能证明扫描结果准确,也不能保证每份文档都能通过辅助技术无障碍访问。同样,无损数据压缩在正确解码时能够完整还原编码前的输入,而反复进行有损转码则可能造成累积性变化。因此,格式政策会区分保存主文件与供访问使用的衍生文件,并明确各自的用途。

仿真、软件与复杂数字对象

对于依赖软件的资料,迁移并不总是最佳的保存方式。交互式程序可能依赖特定的处理器、操作系统、显示特性或外围设备。转换其文件未必能重现程序的运行过程。仿真通过在较新的系统上重建旧有计算环境的某些方面来解决这一问题。它的目标不是将保存对象转换为当前通用的格式,而是提供一个能让该对象运行的环境。

仿真器可以复现处理器的指令集、整台机器的行为,或某些特定接口。保存下来的环境可以包括磁盘映像、操作系统、应用程序、字体、配置文件和用户数据。虚拟化与仿真相关,但通常依赖宿主与客户体系结构之间的兼容性,以及底层硬件提供的功能。两种方法都不能自动保证永久可用:仿真器代码、配置所需的知识以及宿主环境本身,都需要维护。

1986 年英国广播公司的《末日审判书》项目体现了内容与技术之间的相互依赖关系。该项目的交互式资源将计算机软件与存储在专用影碟上的资料结合起来。后来的恢复与访问工作既需要处理数字资料,也需要处理原始系统与其存储介质之间的交互。电子游戏、教育软件、数字艺术和工程应用程序也存在类似问题。仅保存文件,可能会导致某些关键行为无法重现。

保存可执行环境并不能保证忠实还原原有体验。时序差异可能影响游戏和仿真程序;现代显示器可能改变色彩和动态效果;输入设备可能缺少对应的控制方式。联网软件可能依赖身份验证服务器、授权服务或活跃的用户社群,而这些都无法仅凭客户端重建。在这种情况下,文档、屏幕录像、访谈和交互记录可以保留体验的相关证据,即使无法完整重现这种体验。

科学计算软件和商业软件还有额外的保存要求。保留源代码有助于检查软件,并为重建提供可能,但重新构建可能需要编译器、程序库、构建脚本以及版本精确匹配的依赖项。二进制可执行文件可能保留一种难以从源代码重建的运行状态。容器可以将应用程序及其依赖项打包,但仍然依赖宿主内核、处理器体系结构和外部服务。可复现构建和有文档记录的环境能够减少不确定性,却无法消除所有依赖。

运行软件还会带来安全和权利方面的问题。旧软件可能存在漏洞,归档程序也可能含有恶意代码或出现不可预测的行为。保存机构可以通过隔离、限制网络连接和控制访问来降低这些风险。即使技术上能够保存软件,软件许可仍可能限制复制或公开运行。因此,最终形成的归档对象可能由多个相互配合的要素组成:原始文件、可执行环境、技术文档、访问限制,以及无法重现的行为的记录证据。

访问、网络归档与不断变化的信息

保存与访问相互关联,但并不等同。存储库可能保留因版权、保密要求、捐赠协议或个人信息限制而无法立即公开的材料。它也可能通过衍生版本而非保存母版提供访问。视听母版可以保持不变,而用户获得的是流媒体版本;对于脆弱的软件环境,可以通过受控的远程会话向用户开放,而不是提供可下载的系统镜像。

资源发现需要稳定的标识和充分的背景信息。目录记录、馆藏描述、持久标识符和搜索索引有助于用户找到材料,但这些服务不应成为记录现有资源的唯一方式。访问系统经常被替换,因此存储库需要保存描述性记录与所存储对象之间的关联。如果版本或状态的差异会影响解读,引用就应明确指向某个特定版本或状态。

网络归档体现了保存动态组合信息的难度。万维网上的一个页面可能由初始文档以及样式表、图像、脚本、视频和远程服务的响应共同构成。爬虫可以跟随链接并收集服务器响应,但可能遗漏需要登录、填写表单、用户交互或针对特定地理位置发出请求才能获取的内容。基于浏览器的采集可以执行脚本,发现更多资源,但它记录的仍然只是选定的交互过程,而非所有可能状态的完整副本。

WARC 格式于 2009 年被确立为 ISO 28500 标准,为存储网络采集记录提供了一种结构,其中包括请求与响应信息以及相关元数据。回放系统利用采集到的资源重建归档页面。采集时间戳并不意味着每个组成部分都恰好产生于那个时刻:爬取是在一段时间内收集资源的过程,某些组成部分可能缺失,也可能来自不同的采集批次。因此,需要区分回放所呈现的样貌与对历史状态的精确重建。

其他不断变化的系统需要不同的采集模型。数据库快照记录某一特定时点的状态,而事务记录则可以记载随时间发生的变化。导出的社交媒体账户数据可能保留帖子和附件,却遗漏整个平台中的关系、推荐行为或已删除的互动。对于电子邮件,邮件头、附件、邮件标识符和邮件会话中的关联可能与可见的邮件正文同样重要。界定保存范围时,必须明确保存对象究竟是一条独立记录、一个集合、一个应用程序,还是反映某项更大范围服务的证据。

访问还包括易用性与无障碍性。可搜索文本、字幕、转写文本和结构化导航可以提高所保存材料的利用价值,但生成的衍生版本可能包含错误,或引入原件中并不存在的解读。因此,存储库会区分原始内容与后续增强内容,并保留说明这些增强内容如何制作的文档。持续提供访问,不仅需要维护所保存的信息,也需要维护相关系统,使用户能够理解这些信息的来源及其局限。

治理、可信存储库与可持续性

数字保存既依赖技术设计,也依赖组织的持续运作。保存政策明确各方职责、馆藏范围、留存目标、允许采取的操作,以及保存与利用之间的关系。操作规程则将这些承诺落实为接收检查、存储管理、完整性监测、事件处置和文档记录。明确责任归属十分重要,因为保存工作往往涉及档案、法律、财务和信息技术等多个部门。

可信数字存储库必须提供证据,证明自身能够履行所声明的承诺。2012 年发布的 ISO 16363 建立了一套审计与认证框架,涵盖组织基础架构、数字对象管理,以及基础设施与安全风险管理。CoreTrustSeal 框架则提供了另一种存储库评估方式。这类框架评估的是有文档依据的能力和实践;获得认证并不保证任何对象都永远不会丢失,也不意味着每一种保存策略都适用于所有馆藏。

风险管理同时考虑事件发生的可能性及其后果。对于不可替代的馆藏,即使某种事件发生的概率很低,也可能比频繁发生却易于补救的故障更值得关注。存储库会跟踪各种风险,例如格式不再受支持、清单不完整、对特定人员的依赖、供应商无法继续履约,以及法律上的不确定性。相关措施与信息安全和灾难恢复有所重叠,但保存还关注信息的含义、真实性,以及能否借助技术手段加以解读。如果严格的安全措施永久阻断了未来的合法访问,其本身也可能使保存目标落空。

法律与伦理义务影响着信息的留存和使用。知识产权可能影响复制、迁移、仿真和传播。数据隐私要求可能限制个人信息的留存或披露。适用的例外、义务和档案相关规定因司法管辖区而异。机构还会遇到具有文化敏感性的材料,以及通过与社群或交存者达成协议而设定的限制。通过访问控制和有记录可查的决策,可以在不将无限制公开视为必然结果的前提下,继续开展保存工作。

成本并不止于购买存储设备。鉴定、权利处理、文档编制、软件维护、安全保障、完整性检查和访问服务,都需要持续投入人力。当材料依赖专用硬件或文档不完善的软件时,成本可能急剧上升。反之,常规化的工作流程、共享基础设施和文档完善的格式,则有助于减少重复劳动。因此,保存规划应考虑整个生命周期,包括最终迁移至其他机构或服务的过程,而不能将首次交存视为主要开支。

环境可持续性带来了更多需要权衡的因素。制作副本、频繁检查和快速访问需要消耗能源并配备设备,而不必要的删除又可能导致日后无法恢复。有关存储分层、检查计划、冗余衍生副本,以及副本数量与独立性的决策,既影响资源使用,也影响抵御故障和恢复的能力。没有一种副本数量或更新周期适合所有馆藏。可持续的管理有赖于明确的保存目标、经过评估的风险,以及有记录可查的取舍,即确定机构能够长期承担哪些成本、维持哪些依赖关系。