可观测性是指根据外部可获取的信息,能够在多大程度上推断系统的内部状态或行为。在控制理论中,它是一种数学性质,描述在给定系统模型和已知输入的情况下,能否通过测得的输出区分不同的内部状态。在软件工程中,它描述通过指标、日志和追踪等遥测数据理解和调查运行中系统的能力。这两种含义都强调依据证据进行推断,但软件可观测性通常不具备可观测数学模型所提供的形式化保证。
控制理论中的可观测性
动力系统具有随时间演化的内部状态,而输出只能直接反映其中一部分。例如,可以测量运动物体的位置,却不直接测量其速度。不过,结合适当的运动模型,一系列位置测量值仍然可以揭示速度。
可观测性关注的是:可获取的输出是否包含足够的信息,能够区分所有可能的初始状态。因此,它是系统模型及其测量配置共同具有的性质,而非仅由物理系统本身决定。增加传感器、改变其位置,或改为测量另一种物理量,都可能改变可观测性。
20 世纪中叶,可观测性概念成为现代状态空间控制理论的核心内容。它为状态估计、反馈设计,以及无法直接测量全部重要内部变量的系统分析提供了基础。
线性系统
有限维连续时间线性时不变系统可以写为
其中, 为状态向量, 为已知输入, 为测得的输出。矩阵 、、 和 描述状态的动态变化、输入的作用及测量关系。
对于具有 个状态变量的系统,可观测性矩阵为
系统可观测,当且仅当
这里,秩衡量一个矩阵所表示的独立方向的数量。如果秩小于 ,那么某些初始状态之间的非零差异,在相同输入下会产生完全相同的输出历程。这些差异属于不可观测子空间。
例如,将匀速运动物体的位置和速度作为两个状态:
虽然只测量位置,但可观测性矩阵为
该矩阵满秩。位置随时间的变化揭示了速度。如果只测量速度,初始位置就仍然无法确定,因此完整状态不可观测。
对于离散时间线性系统,相应的可观测性矩阵形式相同。不过,对连续时间系统进行采样可能影响可观测性:某些特定的采样间隔可能使不同模态在采样测量结果中无法区分。
可观测性格拉姆矩阵与实际估计
对于连续时间线性时不变系统,有限时间区间内的可观测性格拉姆矩阵为
当 时,系统可观测,当且仅当该矩阵正定。格拉姆矩阵还反映不同状态方向对测得输出的影响强弱。
这一区别在实际应用中十分重要。一个系统可能在数学上可观测,但某些状态方向引起的输出变化极其微小。此时,测量不确定度、模型误差、有限的数值精度以及较低的信噪比,都可能导致这些状态难以得到可靠估计。形式上的可观测性确立的是理想化模型下的可区分性,本身并不保证估计精度。
状态观测器利用模型和测量数据来估计未测量的状态。卡尔曼滤波器是一种广泛使用的估计方法,适用于采用状态空间模型表示、且具有特定噪声假设的系统。可观测性及相关条件有助于判断测量数据能否约束其状态估计。
一种较弱的性质是可检测性,它允许系统存在不可观测模态,前提是这些模态渐近稳定。对于标准线性系统,即使系统不完全可观测,可检测性也足以保证能够构造出估计误差渐近收敛的观测器。
非线性系统及相关概念
对于非线性系统,可观测性可能取决于工作点、输入轨迹,以及所考察的状态空间区域。局部可观测性关注某一特定状态附近的可区分性;全局可观测性则关注更广泛状态域内的可区分性。线性化有助于分析,但线性化模型无法涵盖非线性系统的全部可观测性质。
可观测性不同于以下几个相关概念:
- **可控性**关注输入能否使状态在指定条件之间转移。可观测性则关注测量能否区分不同状态。对于线性系统,这两种性质在数学上互为对偶。
- **系统辨识**关注如何从数据中学习模型结构或参数。可观测性通常假定相关模型已经确定。
- 测量覆盖范围关注哪些量得到了直接测量。未被测量的变量,仍可能通过其对其他变量的影响而具有可观测性。
可观测性的应用包括导航、机器人学、过程控制和电网。例如,在电池管理系统中,可观测性分析有助于评估能否根据电池端口的测量值,估计电池模型中的内部变量。结果取决于模型、测量方式和运行条件。
软件工程中的可观测性
在软件工程中,可观测性关注如何依据运行中的应用程序或基础设施所产生的证据来理解它们。在分布式系统中,这一点尤为重要,因为一次操作可能跨越多个进程、机器、队列和组织边界。
与控制理论中的定义相比,软件领域的用法更宽泛,数学上的标准化程度也更低。如果工程师能够调查服务行为、解释故障并检查交互,而无须复现每一个问题,也无须针对每一个疑问部署新的诊断代码,那么该服务通常就会被认为具有可观测性。
因此,可观测性并不只是所收集数据的数量问题。它取决于这些数据是否有意义、是否足够详细、是否易于获取,以及是否与所调查的行为相关联。
遥测信号
指标、日志和追踪是三类常被讨论的遥测数据。它们通常被称为可观测性的“三大支柱”,但这种分类只是一种惯例,并不是完整的定义。
| 信号 | 典型内容 | 主要用途 | 常见局限 |
|---|---|---|---|
| 指标 | 随时间记录的数值测量结果或聚合值 | 趋势分析、告警、容量分析、服务健康状况评估 | 聚合可能丢失单个事件的细节 |
| 日志 | 事件记录,通常包含结构化字段 | 错误调查、事件重建、审计记录 | 结构不一致和数据量过大可能妨碍分析 |
| 分布式追踪 | 跨组件相互关联的工作记录 | 请求路径分析、依赖分析、延迟调查 | 埋点不完整和采样可能遗漏相关活动 |
指标包括请求数、队列长度、错误率和延迟直方图。标签或属性用于区分不同的测量子集,例如按服务、区域或响应状态分类。高基数属性,即具有大量不同取值的属性,可能大幅增加存储和处理需求。
日志记录事件及其上下文。结构化日志提供可供搜索和聚合的字段,使分析不必完全依赖对自由文本的解读。时间戳、错误详情、服务标识和关联标识符都能提高单条记录的实用性。
**分布式追踪**将一次操作表示为由多个跨度(span)组成的追踪。每个跨度描述一个工作单元,通常包含时间信息、父子关系和属性。通过上下文传播,可以将不同组件中的工作关联到同一次操作。
其他证据还包括持续性能剖析数据、异常报告、内存快照、部署事件和配置变更。性能剖析有助于识别执行时间或资源消耗在何处,而变更记录有助于将行为变化与软件发布或运维调整联系起来。
埋点与遥测流水线
埋点是软件产生遥测数据的机制。它可以内置于应用代码中,由库和运行时提供,也可以通过代理和自动埋点添加。不同方式能够提供不同层次的上下文,同时带来不同的运行成本。
典型的遥测流水线包括:
- **生成:**应用程序和基础设施输出测量结果与事件。
- **采集:**代理或采集器接收、缓冲、过滤数据,并为其补充信息。
- **传输与存储:**后端接收并保存遥测数据。
- **分析:**通过查询、仪表板、告警和关联分析工具揭示有用的模式。
OpenTelemetry提供用于生成和传输遥测数据的规范、应用程序接口、库和采集组件。它本身并不是完整的存储或可视化后端。
一致的资源标识符和语义约定有助于关联不同组件中的证据。例如,追踪和日志记录可以通过共有的追踪标识符关联起来,而部署元数据可以标明处理某个请求的软件版本。通过Kubernetes容器编排系统管理的系统,还需要谨慎处理短暂存在的工作负载,因为具体实例可能在调查开始前就已消失。
监控、诊断与可靠性
监控与可观测性有所重叠。监控通常涉及跟踪预先定义的条件,例如错误率是否超过阈值。可观测性则强调进一步提出问题、调查原因的能力,包括探索创建仪表板或告警时未曾预料的问题。这一区分体现的是侧重点,而不是工具之间的严格界限。
在站点可靠性工程中,遥测数据为服务等级指标和服务等级目标提供支持。指标衡量服务行为的某个相关方面,例如在指定延迟内成功完成的请求所占的比例。目标则为该指标设定期望达到的水平。
不同的测量回答不同的问题。处理器利用率高并不一定意味着用户体验差,而平均延迟低也可能掩盖少数请求响应缓慢的问题。直方图、百分位数、错误分类和端到端测量能够揭示简单平均值所掩盖的行为。
可观测性可以支持可靠性工程和事件诊断,但不会自动确立因果关系。两个信号同时变化,可能源于共同依赖项、一次部署,也可能源于彼此无关的事件。耗时较长的跨度能够指出时间被记录在何处,却不一定能解释耗时为何增加。
局限与权衡
不完整且经过选择的证据
遥测数据无法完美地反映执行过程。埋点缺失、记录丢失、时钟不一致、上下文传播中断和采集故障,都可能造成信息缺口。采样虽然能减少数据量,却可能排除罕见或重要的事件。
头部采样在操作开始不久、最终结果尚不明确时选择要保留的追踪。尾部采样则推迟选择,直到获得更多追踪信息,因此有机会保留发生错误或异常缓慢的操作。尾部采样需要额外的缓冲和协调,其效果也取决于追踪数据能否到达采样系统。
遥测流水线本身也可能在故障事件期间失效。错误激增可能产生大量数据,导致采集器或存储系统过载,在最需要了解系统状况时反而降低了可见性。
成本与性能
遥测会消耗处理器时间、内存、网络带宽和存储空间。细粒度埋点可能影响被测系统。较长的保留期限、高基数属性和开销大的查询,都可能使可观测性基础设施成本高昂。
聚合、过滤和采样可以降低这些成本,但也会丢弃信息。因此,可观测性设计需要在诊断细节、覆盖范围、保留期限和运行开销之间取得平衡,而不是不加区分地尽可能多收集数据。
隐私与安全
日志和追踪可能包含个人信息、凭据、请求正文或商业敏感数据。因此,可观测性与数据隐私和网络安全密切相关。访问限制、字段脱敏、保留期限控制和敏感数据隔离,既影响遥测数据的安全性,也影响其实用性。
遥测数据作为证据也有其局限。日志条目可能缺失、错误、重复或遭到篡改。它能否支持审计或安全调查,取决于采集过程的完整性、数据来源,以及防篡改保护。
两种含义之间的关系
控制理论中的可观测性提出了一个精确的问题:在指定模型下,能否根据可获取的输出区分不同的内部状态?软件可观测性提出的问题通常更为开放:现有证据是否足以让人理解系统的运行行为?
软件系统通常缺乏完整且在分析上可处理的状态模型,也缺乏足以完成形式化可观测性证明的一组固定测量。因此,声称软件“完全可观测”,通常是在描述一种工程能力,而非已经得到证明的数学性质。
两者共同的原则是:外部证据必须保留那些重要的差异。多种内部故障可能产生同一条笼统的错误消息,正如不可观测动力系统中的不同状态可能产生相同的输出。信息量更丰富的测量可以减少歧义,但单纯收集更多数据,并不能保证相关差异就会显现。