键值数据库是一种将数据组织为唯一键与相应值之间关联的数据库。其基本操作是检索、插入、替换或删除由键标识的值。键可以是客户标识符、会话令牌,也可以是多个字段组合后的编码;值可以是不加解析的字节序列,也可以是数据库能够识别的结构化对象。这种简单的接口可以支持多种实现,既可以是单个进程内的嵌入式存储库,也可以是横跨多台服务器的分布式服务。
键值数据库之所以重要,是因为许多应用需要快速访问标识符已知的信息。例如,会话存储、配置服务、购物车、计算结果缓存,以及更复杂数据库的底层存储引擎,都有这类需求。键值数据库通常与NoSQL数据库联系在一起,但键值模型本身并不排斥事务、有序查询或强一致性。其决定性特征是围绕键来组织数据访问,而非采用某种特定的持久性策略或分布式架构。
这种模型为具体实现保留了很大的选择空间。存储可以使用哈希或有序索引;值可以主要驻留在内存中,也可以主要存放在持久化介质上;分布式系统则可以在可用性、一致性和延迟之间采取不同的权衡。因此,要理解键值数据库,就需要将其逻辑接口与物理存储、并发规则及运行保障区分开来。
数据模型与基本操作
最简单的键值模型是从可能的键组成的集合 到值集合 的一个偏映射:
之所以称为偏映射,是因为并非所有可能的键都实际存在。在特定的数据库或命名空间内,一个键至多标识一个当前的逻辑值,不过具体实现可能会保留多个历史版本。键的作用类似于关系表中的主键,但与键关联的值不必拆分为具名的列。值可以包含一条完整的序列化记录、一份压缩文档,也可以是计数器之类的小型标量。
最基本的应用程序编程接口提供通常称为 get、put 和 delete 的操作。get(k) 检索与 关联的值,或报告该键不存在。put(k,v) 创建或替换关联,而 delete(k) 则移除关联。这些名称并未规定操作的全部语义:put 操作可能无条件覆盖,也可能在键已存在时失败,还可能要求满足某项版本条件。此外,必须能够区分键不存在的情况与键存在但其值为空的情况;有些接口还会区分键不存在与存储值为 null 的情况。
键通常是字符串或任意字节序列。键的相等关系和排序方式取决于其编码。例如,普通的逐字节比较会将文本 "100" 排在 "20" 之前,尽管整数 100 大于 20。因此,要保持数值顺序的有序数据库需要采用适当的编码,例如用定长大端表示法编码无符号整数。复合键可以由租户标识符、对象类型和对象标识符组合而成。分隔符、转义、长度前缀和类型标记可以防止不同的组成部分序列生成相同的编码键。
不同数据库对值的语义理解程度差异很大。将值视为不透明数据的存储系统只把值当作字节,其含义由应用程序解释。结构化存储系统则可能提供字段更新、集合、列表或有序集合等功能。例如,Redis 可将键与其支持的多种数据类型关联,而不只是与不区分类型的字符串关联。这类功能使应用程序无需传输并重写整个应用对象,就能完成更多操作。
其他常见操作包括批量检索、条件插入、原子递增和过期处理。设置过期时间后,关联在超过期限时便会在逻辑上不可用,但物理空间的回收可能稍后才发生。批量操作可以减少网络开销,却不一定构成原子事务。因此,即使两个系统的命令名称几乎相同,它们在并发、故障或过期情况下的行为也可能存在实质性差异。
历史发展与架构类型
基于键的存储早于现代 NoSQL 运动。关联数组和持久化记录文件确立了通过标识符查找值的基本模式。Unix 的 dbm 系列数据库库无需独立的数据库服务器,就能提供持久化的键值映射。Berkeley DB 于 1991 年首次发布,将这一嵌入式传统发展为支持 B 树、散列等访问方法的存储库,其更完整的架构还提供事务功能。这些系统表明,键值存储最初并不等同于大型分布式服务。
嵌入式键值数据库在应用程序的地址空间内运行,或通过本地库访问。它通常无需进行网络往返通信,并让宿主应用程序在很大程度上掌控存储和调度。Google 于 2011 年发布的 LevelDB,以及 Facebook 开发并于 2013 年发布的 RocksDB,都是基于日志结构存储的代表性系统,影响广泛。LMDB 则代表了另一种影响深远的嵌入式设计,采用内存映射文件和写时复制 B 树技术。尽管这些引擎都提供简洁的、以键为中心的接口,但它们在并发性、持久性和访问方法上各有不同。
网络式键值服务将客户端与存储进程分离。Memcached 创建于 2003 年,推动了通过键访问的分布式内存缓存的普及。Redis 始于 2009 年,将内存操作与更丰富的数据类型及可选的持久化机制相结合。缓存与数据库的区别在实际运行中十分重要:缓存可能允许逐出数据,并依赖另一套权威数据源,而主数据库通常需要明确规定持久性和恢复保证。同一软件在不同配置下,有时可以承担其中任意一种角色。
大规模 Web 服务催生了另一类架构:采用分区和复制机制、旨在服务器及网络故障期间仍能提供服务的键值数据库。亚马逊 2007 年发表的 Dynamo 论文介绍了一致性散列、版本管理和可配置副本参与机制等技术。Dynamo 是一个内部系统,与 2012 年作为托管服务推出的 Amazon DynamoDB 并非同一产品。不过,Dynamo 的设计影响了一代分布式存储系统,并推动键值数据库成为分布式计算中的一个主要类别。
这些架构类型相互重叠,而非构成严格的演进序列。分布式数据库可以在每台服务器上使用嵌入式键值引擎,功能完善的数据库也可以在提供其他查询模型的同时开放键值接口。例如,FoundationDB 提供支持分布式事务的有序键值存储基础。因此,这些架构标签标识的是不同维度:引擎在何处执行、如何存储数据、所存数据是权威数据还是可丢弃数据,以及其操作提供哪些保证。
存储结构与持久化
键值接口并不决定记录在物理存储中的位置。哈希表将哈希函数应用于键,以选择相应的桶或槽位。在对分布和负载作出适当假设的情况下,相对于所存储的条目数量,查找的预期时间复杂度为常数。不过,这一说法并未计入一些重要开销,例如计算长键的哈希值、从存储设备读取数据以及处理哈希冲突。基于哈希的组织方式非常适合精确键查找,但通常不保留键的顺序,因而无法直接支持按键顺序进行范围扫描。
有序存储引擎通常使用B树或相关结构。较高的分支因子可以减少查找时需要访问的存储页数量,而叶层的组织方式则支持按键顺序遍历。更新此类结构可能需要修改多个页面,具体取决于页面分裂、日志记录以及实现所采用的更新策略。写时复制设计则会创建替代页面,并发布新的根节点或起同等作用的引用。现有读取操作可以继续使用较早的树版本,待这些读取操作完成后,过时页面便可回收。
日志结构合并树采用另一种方式。更新首先进入驻留内存的结构,随后被刷写为有序且不可变的文件。称为压实的后台过程会合并文件,在安全的情况下删除已被取代的版本,并重新组织数据。这会将大量小规模更新转化为较大规模的顺序写入,但也带来了写放大、读放大和空间放大之间的权衡。除非过滤器和索引能够排除候选文件或层级,否则一次查找可能需要检查多个文件或层级。
布隆过滤器可以帮助确定某个键是否确实不存在于特定文件中。它使用紧凑的位数组,以及通过哈希计算得到的多个位置。在过滤器的假设成立时,否定结果是确定的,而肯定结果仅表示还需进一步查找。此类过滤器能够减少不必要的存储读取,尤其适用于查找不存在的键,但它们本身并不检索值。其效果取决于分配的内存、所表示的键的数量以及工作负载特征。
持久性通常需要内存、日志与持久化存储之间的协调。采用预写日志时,必须先将更新记录到可恢复的日志中,才能认为相应的持久化数据结构已安全更新。崩溃后,恢复过程会重放相关记录。在日志被强制写入稳定存储之前确认写入完成,与在此之后确认,通常会提供不同的故障保障。校验和、不完整写入的处理,以及文件系统和存储设备提供的操作顺序保证也同样重要。
删除操作体现了逻辑状态与物理状态的分离。日志结构存储引擎可能会写入墓碑标记,而不是立即移除旧副本。只有在移除墓碑标记不会使过时的值重新可见时,压实过程才能将其丢弃。较大的值还会带来进一步的设计选择:将值与键存放在一起有利于数据局部性;将值分离到值日志中,则可以减少压实过程中的反复搬移,但代价是增加间接访问和空间回收工作。
查询、键设计与应用结构
当应用已知要查找的键时,键值数据库用起来最为直接。根据用户标识符检索用户偏好设置,是一种很自然的操作;而查找偏好设置满足若干任意条件的所有用户,则未必如此。基础的键值存储不会检查值的内容,也不会针对这些内容制定查询计划。需要这类访问方式的应用,必须扫描记录、维护额外的查找结构,或者使用超出最简键值模型的数据库功能。
键是否有序,会带来显著差异。支持有序遍历的引擎可以检索某个范围内的所有键,从而支持前缀扫描和相关记录的高效遍历。例如,tenant/42/order/00000157 这样的键可以将一条订单与具有相同前缀的其他订单归在一起,前提是编码方式保留了预期的边界和顺序。时间序列记录可以在键中包含时间戳,而层次化路径则可以编码父子关系。这些安排属于应用层面的索引设计决策,并非存储字符串就会自动产生的效果。
二级索引本身也可以用键值对表示。如果主记录存储在 user/<id> 下,电子邮件索引就可以将 email/<address> 映射到该标识符。一对多索引可以把记录标识符放在被索引的值之后,这样前缀扫描就能返回匹配的记录。难点在于保持主记录与索引条目之间的一致性。如果没有原子更新机制,崩溃或并发写入就可能导致索引关联缺失、重复或过时。
值的表示方式带来了另一项重要权衡。将整份用户资料存储为一个 JSON 文档,可以让检索变得简单,但修改一个很小的字段也可能需要读取并替换整个值。将各个字段存储在不同的键下,可以缩小某些更新操作的范围,但也会增加键的开销,并使需要获取一致的完整资料的操作变得更复杂。数据压缩可以降低存储和传输成本,但会增加处理开销;由应用管理的加密则可能使服务器无法检查字段以建立索引。
因此,“无模式”这一描述需要加以限定。数据库可能不强制要求固定的数据库模式,但客户端仍然依赖有关键格式、字段含义、序列化版本和缺失值的约定。从一种编码方式改为另一种,可能需要兼容性处理逻辑,或对现有记录进行迁移。能够接受任意字节的存储系统并不意味着不再需要数据模型,而是将维护该模型的更多责任交给了应用及其周边服务。
键设计也会影响数据的分布。在有序引擎中,顺序键有利于保持数据局部性,但在按范围分片的服务中,却可能使新增写入集中到一个分区。带有哈希前缀的键可以分散写入,却会使按原有顺序进行范围检索变得更加复杂。因此,不存在普遍最优的键布局:精确查找、范围扫描、更新模式和分区行为各有不同的要求。
并发、原子性与事务
即使每个基本操作本身都不可分割,并发客户端之间仍可能相互干扰。假设某个计数器存储的值为 "10"。两个客户端可能都读到 10,各自算出 11,然后都写入 11,导致一次递增丢失。原子递增操作可以避免这种特定的“读取—修改—写入”竞争。更一般地说,数据库需要明确哪些操作属于原子操作、其他客户端在这些操作执行期间可能观察到什么,以及操作的结果能否在故障后保留下来。
一种常见的条件式原语是比较并交换,也可以使用基于版本的等效机制。客户端读取一个值及其版本,计算出替换值,然后要求仅在版本未发生变化时才允许更新成功。更新失败表明发生了干扰,通常需要重试或放弃该操作。与仅比较值的字节内容相比,比较版本可以识别出期间发生过更改、但最终又恢复为先前值的情况。这些机制支持乐观并发控制,无须在整个计算过程中一直持有客户端可见的锁。
单键原子性的保障范围小于跨越多个键的数据库事务。将一定金额从一个账户转入另一个账户时,如果不能接受只完成部分操作,就必须协调扣款与入账。有些键值系统只提供单键级别的保证;另一些则支持分区内或整个数据库范围内的事务。ACID特性区分了原子性、一致性、隔离性和持久性,但每一项仍需精确定义。尤其不能仅凭系统宣称支持事务,就认为应用的不变量会自动得到保障。
事务的实现可以采用锁、乐观验证或多版本并发控制。在多版本设计中,读取方可以访问一致的历史视图,而写入方则创建更新的版本。这可以减少阻塞,但长时间运行的读取操作可能延迟旧数据的回收。隔离级别同样重要:快照隔离可以防止某些异常,却仍可能允许写偏斜等其他异常发生,除非另有冲突检查或约束。
分布式请求带来的不确定性超出了普通并发更新的范畴。如果客户端发出递增请求后,在收到响应之前连接就中断了,客户端可能无法判断递增是否已经发生。盲目重试可能导致该操作执行两次。幂等操作、请求标识符和去重记录可以在明确规定的适用范围与保留期限内解决这一问题。因此,“恰好一次”并不是仅靠使用可靠传输或重试失败请求就能实现的特性。
对原子批处理也需要谨慎理解。一个批次可能保证其结果要么全部可见、要么全部不可见,却不具备先读取数据、再决定写入内容的事务所需的隔离性。反过来,一个事务可能保全其逻辑效果,但其持久性仍取决于确认机制和存储设置。正确的分析应遵循文档中各项保证的边界,而不是将原子性、隔离性和持久性视为可以互换的概念。
分区、复制与一致性
分布式键值数据库将键的管理职责分配给不同的服务器或分区。哈希分区通过哈希函数计算键的哈希值,再据此将键分配到各个分区,通常会把互不相关的键分散到整个系统中。范围分区则将有序键空间中的连续区间分配给不同分区,更便于执行范围访问,但也可能因不同区间的访问热度不均而造成负载失衡。无论采用哪种方式,随着数据量和请求速率的变化,都可能需要拆分或迁移分区。
与简单地将哈希值对服务器数量取模的方案相比,一致性哈希可减少成员变化时需要重新分配的键所占的比例。一种常见的表示方法是将服务器和键放置在一个逻辑环上,根据各个键的位置决定其归属。虚拟节点使一台物理服务器能够占据多个位置,从而实现更细粒度的负载均衡。但它们无法消除热点:无论其他键分布得多么均匀,单个访问热度极高的键仍可能成为瓶颈。
数据库复制将数据的副本存放在多台机器上。基于领导者的设计通常让一个分区的写入统一经过该分区的领导者,再将变更传播给跟随者。采用分布式共识的系统,包括使用Raft共识算法的系统,可以在其声明的故障假设下协调复制日志和领导者变更。另一些设计则允许在多个副本上进行更新,之后再协调差异。仅凭复制拓扑无法确定客户端观察到的一致性;确认机制、读取路由和故障切换规则也起着决定性作用。
线性一致性使每个操作看起来都在调用与响应之间的某个瞬间生效,并遵守实时先后关系。相比之下,最终一致性允许副本暂时存在差异;如果更新停止,且所需的通信与协调持续进行,副本就应当最终收敛。会话保证,例如能够读到自己写入的数据,则是这一设计空间中的其他选择。系统可以为不同操作提供不同的选择,而不是统一采用一种一致性级别。
法定人数(quorum)这一术语很常见,但很容易被过度简化。如果一条记录有 个副本,一次读取联系其中的 个,一次写入等待其中的 个确认,那么
意味着从同一副本集合中选出的任意读取集合与写入集合必有交集。但仅有交集并不能证明线性一致性。并发写入、版本选择、未完成的操作、成员变化以及替代副本的使用,都会影响结果。完整的一致性论证必须涵盖协议本身,而不能只靠算术关系。
CAP定理指出了网络分区期间的一项限制:系统无法对每个受影响的操作,同时保证线性一致性和该定理所定义的可用性。它并不意味着所有分布式系统都要永久地从三个可任意互换的选项中选择两项属性。实际的数据库会作出更细致的决策,例如是否拒绝请求、提供过时数据、选举领导者,或将操作限制在可达的分区内。
工作负载、性能与资源权衡
键值数据库通常通过减少处理每个请求所需的工作来实现高吞吐量。直接查找可以避免解析复杂查询、规划连接操作或遍历不相关的记录。不过,接口本身并不能保证性能。网络延迟、存储访问、值的大小、序列化、同步和复制都可能成为开销的主要来源。在嵌入式数据库中从内存完成一次查找,与执行一次跨区域的持久化写入,虽然同属键值操作,但两者的延迟构成却截然不同。
工作负载的构成会显著影响性能表现。以读取为主的工作负载可能受益于内存缓存和提供读取服务的副本;持续写入则可能受限于日志持久化或压实操作。均匀随机访问的表现,与大多数请求集中在少数键上的工作负载有所不同。查找不存在的键所带来压力的处理路径,也可能不同于成功读取时的路径。因此,有意义的基准测试需要明确读写比例、键的访问热度分布、数据集相对于内存的大小、值的大小、并发度以及持久性设置。
与单看平均值相比,延迟分布能提供更多信息。系统的延迟中位数可能很低,却偶尔因内存回收、存储停顿或后台维护而暂停。第 99 百分位数表示一个阈值,测得的请求中有 99% 的延迟低于该阈值,但它取决于测量时长和请求生成方式。当一个用户请求需要多个服务共同处理时,原本罕见的慢操作就可能频繁影响用户体验。因此,对于用作共享基础设施的键值服务,尾延迟是一项核心关注点。
缓存可以提升性能,但也会改变故障模型和正确性模型。采用旁路缓存模式的应用会先检查缓存,未命中时读取权威数据库,再将数据填入缓存。更新操作需要配套的失效或刷新策略,而竞态条件可能使陈旧值重新进入缓存。过期机制限定了特定策略下单个缓存副本可以继续使用的时间,但它本身并不能保证端到端的数据新鲜度。热门条目同时过期,可能导致后端数据库的请求量激增。
核算内存占用时,需要考虑的远不止值本身的字节数。键、指针、内存分配开销、索引、复制缓冲区以及保留的版本都可能占用大量空间,对于小记录而言尤其如此。在持久化存储中,日志、压实过程中产生的临时输出,以及等待回收的废弃文件,都可能使实际存储占用超过逻辑数据集的大小。写放大通常表示为写入存储的字节数与应用在逻辑上写入的字节数之比;其具体测量结果取决于将哪些层纳入统计。
容量规划还必须预留运行余量。当服务器的利用率接近其可持续承受的上限时,短暂的流量激增或一项压实任务就可能导致长队列。故障后的再均衡会消耗网络和存储带宽,而此时仍正常运行的机器恰好还承担着额外的请求。负载均衡、准入控制和背压分别应对这一问题的不同方面,但没有任何一种机制能让过载系统的资源变得无限。
应用及其与其他数据库模型的关系
会话存储是键值数据库的一种典型应用:浏览器或应用程序提交会话标识符,并期望获取相应的状态。值中可以包含身份认证上下文、偏好设置或临时工作流数据,而过期机制则用于限制这些数据的存续时间。适合采用最终一致性还是强一致性,取决于这些状态的具体语义:显示偏好设置过时,与授权撤销未及时生效,性质并不相同。此外,容易猜到的键也不能替代身份认证机制。
缓存是另一项主要用途。应用程序可以将计算得到的响应、渲染后的页面片段或检索到的记录,与一个可重复生成的键关联起来。此时,数据库的作用是避免重复工作,而不是充当唯一的权威数据存储。其他常见用途包括计数器、限流状态、幂等性记录、功能配置和购物车。这些用途对条件更新、过期精度、持久性以及网络分区期间的行为各有不同要求;采用相同的基于键的访问模式,并不意味着它们对正确性的要求也相同。
键值引擎也可以作为其他存储模型的底层构建模块。关系数据库可以将行和索引编码到有序键空间中,图数据库则可以将邻接表表示为与键关联的记录。文档数据库可以将序列化后的文档存储在其标识符对应的位置,并单独维护额外的索引。在这些情况下,约束、查询处理和事务语义由上层系统提供,底层引擎本身未必具备这些能力。
因此,键值数据库与文档数据库之间的界限取决于实际功能,而非绝对划分。如果服务器将文档视为不加解析的字节数据,并且仅通过标识符检索文档,那么这种操作本质上仍属于键值访问。如果服务器能够理解文档字段、支持针对嵌套字段的谓词,并维护字段索引,那么它就提供了更丰富的查询模型。同样,宽列系统对外提供分区和聚簇结构,这些结构可能类似于复合键存储,但同时也引入了自身的数据组织方式和查询规则。
对象存储也将标识符映射到内容,但典型的对象存储服务侧重于大型对象、对象元数据,以及一套不同的更新和列表操作。键值数据库则更常面向细粒度的记录访问,并且可能支持计数器、条件修改或事务。这些只是一般倾向,并非严格界限:对象存储可以提供条件请求和强一致性,而键值存储也可能接受较大的值。与类别名称相比,产品实际提供的保证更为重要。
另一个术语问题涉及基于 Transformer 的语言模型推理中使用的键值缓存。这种缓存存储与注意力机制相关的键张量和值张量,以避免为先前的词元重复计算这些张量。它的名称源于这些张量在数学上的作用,而不是数据库模型。它可以使用普通的内存管理结构,而无须提供持久化查找、数据库事务或通用键值服务。
可靠性、安全性与运维管理
要确保可靠运行,必须区分复制与数据备份。副本可以在机器故障后维持可用性,但误删除或应用程序的破坏性更新可能会传播到所有副本。备份则在常规更新路径之外保留可恢复的状态。可行的恢复方案需要明确:备份涵盖哪些数据和日志,备份结果是否具有内部一致性,以及恢复需要多长时间。时间点恢复还要求保留从某个基准副本到目标恢复时间点之间足够完整的变更序列。
分布式恢复在删除和成员变更方面存在特殊问题。长期离线的副本可能仍保留着较新副本已经删除的值。使用墓碑标记和反熵同步的系统必须保留足够的删除信息,或规定适当的修复和重新加入流程,以防止旧数据重新出现。同样,迁移分区时,必须明确交接其归属和更新处理职责;仅复制分区文件并不足以确保路由正确和数据一致。
安全首先要求区分网络可达性与授权。根据系统的不同,访问控制可以作用于整个数据库、命名空间、键前缀或特定命令。清空数据库或更改复制设置等管理操作,需要与普通读取不同的权限。在多租户服务中,应用层的租户前缀有助于组织数据,但除非相关授权层对每次访问都进行验证,否则前缀本身并不能强制实现隔离。
正确配置的传输层安全协议可以保护经过身份验证的端点之间的通信,而静态数据加密则用于应对存储介质或文件暴露的风险。这些控制措施针对的是不同的威胁。键名本身可能泄露标识符或业务信息;即使数据库的主要文件已加密,诊断日志仍可能暴露数据值。过期或已删除的记录可能继续存在于备份、旧版本或尚未回收的存储空间中,因此不应将逻辑删除等同于立即进行物理擦除。
运维监控通常会跟踪延迟的各个百分位数、错误、请求量、复制延迟、存储容量、内存使用情况和后台维护活动。特定于存储引擎的指标包括压实任务积压、缓存有效性、保留的事务版本以及墓碑标记密度。积压持续增加,可能表明当前写入流量已超出维持该负载所需的维护能力。总体平均值可能掩盖单个热点分区的问题,因此往往需要按分区和节点分别测量。
模式和服务的变更同样需要协调。更改键格式可能影响路由、排序或索引兼容性;升级存储引擎可能引入旧版本无法读取的文件。滚动升级依赖于明确支持的协议和格式兼容性。恢复演练、故障注入和应用程序不变量检查分别检验系统的不同方面:数据库即使成功重启,应用程序的二级索引或多步骤工作流仍可能处于不一致状态。