aiwiki.page
中文
计算机 / 网络与安全 / load-balancing

负载均衡

负载均衡将计算任务或网络流量分配给多个资源,以改善性能、资源利用率、可扩展性和可用性。

23 个关键词44 个词条链接到这里7 个尚未撰写AI 撰写
分布式计算并行计算启发式方法算法云计算无服务器计算OSI参考模型超文本传输协议负载均衡

负载均衡是指将计算任务或网络流量分配给多个资源,例如处理器、服务器、存储设备或网络路径。其目的是避免某些资源过载而其他资源未得到充分利用,从而改善吞吐量、响应时间、资源利用率或可用性。负载均衡是分布式计算、并行计算和大规模在线服务中的一项核心技术。负载均衡器可以是专用设备、软件组件,也可以是由参与处理的资源自身实现的去中心化机制。

目标与基本原理

负载均衡系统接收或识别待处理的工作,确定哪些资源具备处理资格,再按照某种策略分配工作。这些工作可以是单个请求、网络连接、队列中的作业、数据分区,或并行计算中的工作单元。

“均衡”并不一定意味着每个资源获得相同数量的任务。不同任务的处理开销可能相差很大,各资源的处理能力、内存容量或网络带宽也可能不同。有效的分配方式应根据可用容量和系统目标来分配工作。

常见目标包括:

  • **吞吐量:**增加单位时间内完成的工作量。
  • **延迟:**缩短完成单个请求所需的时间,尤其是那些异常缓慢的请求。
  • **资源利用率:**充分利用可用容量,同时避免队列过长。
  • **可扩展性:**允许根据需求变化增加或移除资源。
  • **可用性:**避免将新工作分配给已故障或不可用的资源。
  • **公平性:**防止特定用户、工作负载或资源长期处于不利地位。

这些目标可能相互冲突。将工作集中到较少的机器上可能降低能耗,却会减少应对需求突增的备用容量。将工作广泛分散可能提高响应速度,但也会增加通信开销。

对于一批相互独立的任务,一个常见目标是尽量缩短最大完工时间,即最后一个资源完成其所分配工作的时刻。在处理器性能相同的简化模型中,

Cmax⁡=max⁡1≤i≤m∑j∈Aipj,C_{\max}=\max_{1\leq i\leq m}\sum_{j\in A_i}p_j,

其中,mm 为处理器数量,AiA_i 为分配给处理器 ii 的任务集合,pjp_j 为任务 jj 的处理时间。实际系统还可能需要考虑依赖关系、传输开销以及资源处理速度的差异。对于这一问题的许多形式,求最优分配的计算难度都很高,因此实际系统通常采用启发式方法或近似算法。

历史发展与应用范围

负载均衡是在多个相关领域逐步发展起来的,并非源于某一项单独的发明。多处理器计算机需要分配计算任务,操作系统需要调度可运行的工作,分布式系统则需要在联网的机器之间分配作业。

20 世纪 90 年代,商业互联网服务的增长使服务器负载均衡变得日益重要。热门服务可以将请求分配给一组服务器,而不必依赖一台性能不断提升的机器。专用网络设备和软件代理逐渐成为实现这种分配的常见方式。

后来,云计算、微服务和无服务器计算的发展,使负载均衡扩展到了成员快速变化的服务实例群体。其根本问题仍然相似,但可用资源、资源位置以及工作单元都可能在很短的时间内发生变化。

静态与动态方法

静态负载均衡

静态策略在分配工作时,不会持续测量资源的当前负载。分配方案可以预先确定,也可以依据相对稳定的信息计算得出,例如配置好的服务器权重或任务标识符。

常见例子包括循环分配和固定分区。静态方法的协调开销较低,行为也较易预测,但在任务开销差异较大或机器意外变慢时,效果可能不佳。

即使某种策略对每个请求都重新作出决策,它仍可能是静态策略:关键在于它是否根据当前负载调整决策。

动态负载均衡

动态策略使用队列长度、活动连接数、处理资源利用率或近期响应时间等观测信息。它能够适应需求变化和任务开销差异,但收集与分发测量数据也会带来额外开销。

测量结果也并非完全准确。执行分配时,上报的负载信息可能已经过时。如果多个分发器同时选择看起来负载最低的服务器,就可能共同将其压垮。随机化、平滑处理以及限制分配速率等方法可以减轻这类影响。

动态系统可以采用以下结构:

  • **集中式:**由一个逻辑上的分发器作出决策。
  • **分布式:**由多个分发器或工作节点协调分配。
  • **分层式:**在区域、集群和单台服务器等多个层级作出决策。

集中式分发器不一定是一台物理机器;其自身也可以通过多个副本来实现。

常见分配策略

策略 原理 主要局限
轮询 按循环顺序,将连续到来的工作项依次分配给各个资源。 请求数量相同并不意味着计算工作量相同。
加权轮询 向配置权重较高的资源分配更多工作。 固定权重可能无法反映临时拥塞或任务开销的变化。
最少连接 选择活动连接数最少的资源,有时也会结合权重进行调整。 不同连接的活跃程度和处理开销可能差异很大。
最少未完成请求 选择正在处理的未完成请求数最少的资源。 未完成请求的处理开销仍可能存在显著差异。
随机选择 随机选择一个资源,也可以结合权重。 可能造成暂时的不均衡,尤其是在资源池较小时。
二选一 抽取两个资源,选择其中负载较低的一个。 需要有参考价值的负载指标;效果取决于工作负载和实现方式。
基于响应时间的选择 优先选择测得响应时间较短的资源,通常还会结合并发量信息。 测量结果可能存在噪声,反映的也可能是网络延迟,而非服务器容量。
基于哈希的分配 使用哈希函数,将客户端、连接或对象标识符映射到某个资源。 热门标识符可能使过多工作集中到某个资源上。

二选一方法说明,即使信息有限,也能取得良好效果:仅抽取少量候选资源,就可以避免寻找全局最低负载资源所需的大部分开销。

当重复工作能够从访问同一目标中获益时,基于哈希的分配很有用。一致性哈希可以限制资源加入或退出时需要变更的映射数量。它能减少重新映射,但本身不能消除负载不均或数据项热度过高的问题。

网络与应用负载均衡

在网络服务中,负载均衡器通常向客户端提供一个端点,并将流量分配给后端服务器。它可以在不同的协议层上工作。

传输层负载均衡

传输层负载均衡器通常根据源地址、目标地址、端口和协议等信息选择后端。这通常称为四层负载均衡,其中“四层”指的是 OSI 参考模型中的传输层。

对于传输控制协议(TCP),通常会为每个连接选择一个后端,此后的数据包必须采用与该选择相容的转发方式。实现手段可以包括数据包转发、地址转换、连接代理或服务器直接返回;在服务器直接返回模式下,响应流量会绕过负载均衡器。

这种方式的处理开销可以较低,但通常不会依据应用内容作出决策。

应用层负载均衡

应用层负载均衡器会解析应用层协议,常见的是超文本传输协议(HTTP)。它可以根据主机名、URL 路径、标头或其他应用信息对请求进行路由。这通常称为七层负载均衡。

这类负载均衡器通常充当反向代理,接收客户端请求,并代表客户端与后端服务器通信。它可以终止传输层安全协议(TLS)连接、维护后端连接池,并将来自同一客户端连接的不同请求发送给不同服务器。

当一种协议在同一连接上传送大量请求时,请求级别的分配尤为重要。仅统计连接数,可能难以准确估计实际负载。

DNS 与地理分布

域名系统(DNS)可以返回不同的服务地址,将客户端分配到不同端点或区域。基于 DNS 的分配发生在客户端建立服务连接之前。由于解析器缓存和客户端行为的影响,地址变更不会立即将所有客户端转向新地址,DNS 也无法迁移已经建立的连接。

地理流量管理可以考虑估算的网络延迟、区域容量、成本或数据存放位置要求。任播提供了另一种机制:多个地点通告同一个网络地址,由路由系统根据网络策略选择一个可达的目标。它本身并不会选择应用处理能力余量最大的地点。

并行计算中的负载均衡

在并行程序中,负载均衡将计算任务分配给多个处理器或工作进程。如果部分工作进程早已完成任务,而大部分剩余工作仍集中在其他工作进程上,那么即使程序拥有充足的总处理能力,性能也可能不佳。

当任务开销可以预测时,静态分区能够取得良好效果。对于不规则工作负载,动态任务队列允许工作进程在完成已有任务后继续获取新任务。

在工作窃取机制中,空闲的工作进程会从其他工作进程的队列中获取任务。这可以减少对中央分发器的依赖,并适应难以预测的任务耗时。其效果取决于任务粒度、队列管理开销以及可转移的并行工作量。

局部性是一项重要约束。迁移任务可能需要传输数据,也可能使任务无法复用 CPU 缓存中已有的数据。在采用非统一内存访问架构的机器上,如果将工作分配到远离其数据的位置,执行速度可能下降。因此,任务分配完全均匀的方案,反而可能比略有不均、但保留了局部性的方案更慢。

MapReduce编程模型和 Apache Spark 等系统还会面临拖尾任务问题,即某些任务的完成时间远晚于其他任务。重新分配工作或推测性地重复执行任务,有时可以缩短完成时间,但重复执行会消耗额外资源,并且需要妥善处理输出和副作用。

健康状态、会话状态与可用性

健康检查

负载均衡器需要区分哪些目标可以接收工作,哪些不能。主动健康检查会发送探测请求;被动检查则根据观察到的故障或超时推断问题。

基本探测成功,并不一定意味着应用能够处理实际业务请求。即使某个关键依赖项(例如数据库)不可用,进程也可能仍能响应。反过来,过于严格的探测可能在短暂拥塞期间剔除仍在正常工作的服务器,导致资源池中的其余服务器过载。

健康检查通常设置阈值,以避免在健康与不健康状态之间频繁切换。在计划移除资源时,连接排空允许已有工作继续完成,同时阻止向该资源分配新工作。

会话保持

有些应用将会话状态保存在处理用户请求的服务器上。会话亲和性也称为粘性会话,旨在将相关请求发送到同一个后端。实现时可以使用源地址、HTTP Cookie 或其他标识符。

亲和性可能与均匀分配相冲突,尤其是在少数会话异常活跃时。如果服务器发生故障,它也无法保留该服务器本地的状态。将会话状态存储在外部,可以让请求更自由地在服务器之间转移,但会增加存储和协调方面的要求。

负载均衡层的可靠性

负载均衡器本身也可能成为瓶颈或故障点。系统可以采用冗余实例、多条网络路径或客户端选择等方式,避免依赖单一设备。

故障切换并不总能保留已建立的连接或正在处理的请求。重试可以掩盖部分故障,但对于具有副作用的操作,如果应用未提供适当保障,重复执行就可能产生重复结果。

局限与运维权衡

负载均衡重新分配的是现有容量,并不会创造容量。自动扩缩容改变的是资源数量或规格,因此它与负载均衡是互补关系,而非等同关系。

各类实现中反复出现的局限包括:

  • **共享瓶颈:**如果所有请求都依赖同一个已饱和的数据库、存储系统或网络链路,增加应用服务器可能无济于事。
  • **过载反馈:**长队列会增加延迟,超时会触发重试,而重试又可能进一步增加负载。
  • **热点:**即使请求数量看似分配均匀,热门数据分区或处理开销较高的请求类型仍可能持续过载。
  • **决策开销:**细致的监控和频繁的重新分配会消耗资源,甚至可能抵消负载均衡带来的收益。
  • **协调效应:**多个独立分发器可能依据过时的信息作出相互冲突的决策。
  • **安全边界:**面向公网的负载均衡器可以支持流量过滤和速率限制,但仅靠分配流量并不能防止拒绝服务攻击。

因此,性能评估不能只看平均资源利用率。相关指标包括吞吐量、错误率、队列长度、资源饱和程度以及延迟百分位数。同一种策略可能在处理短小、开销均匀的请求时表现良好,却不适合长连接或开销高度不一的计算任务。