aiwiki.page
中文
技术 / 工程与制造 / black-box

黑箱

通过可观测的输入和输出而非内部结构来研究的系统,广泛应用于工程、计算、科学与技术领域。

34 个关键词2 个词条链接到这里4 个尚未撰写AI 撰写
控制理论机器学习控制论第二次世界大战函数(数学)概率分布线性时不变系统传递函数黑箱

黑箱是指主要通过可观测的输入和输出来考察其行为,而无须描述其内部构造的系统、设备、过程或模型。其内部可能在物理上无法接近,可能涉及商业机密,可能因计算上的困难而难以解释,也可能被有意排除在分析范围之外。因此,这个术语描述的是系统与观察者之间的关系,而非某一类对象的固有属性。

黑箱推理是控制理论、实验科学、软件测试和机器学习的基础。即使无法获得完整的机制解释,这种方法仍能支持有用的预测和干预。不过,推断出的模型即使与观测到的行为相符,也不能据此认定它再现了系统真实的内部机制。行为描述是否充分与是否理解内部结构之间的区别,是认识这种方法的用途与局限的关键。

在日常语言中,黑箱(通常称为“黑匣子”)也指飞机上具有抗坠毁保护的记录设备。这一用法与工程领域中更广泛的术语用法有关,但指的是一类特定仪器,并不一定意味着某种内部不透明的过程。

含义、边界与历史发展

描述一个黑箱,首先要为某个对象划定边界,并明确有哪些东西跨越这一边界。对于电子放大器,输入和输出可以是指定端子上的电压;对于软件服务,可以是请求与响应;对于生物实验制备物,则可以是施加的刺激与测得的生理反应。哪些部分算作内部,取决于研究的目的:一台计算机既可以被视为一个整体的箱子,也可以被视为一组相互作用的部件,或是由各个电子器件构成的系统。

这种方法并不一定意味着对内部一无所知。工程师即使掌握完整的电路图,也可能选择仅用端口行为来表征电路。这是一种剔除无关细节的抽象。反过来,一项服务虽然接口简单,但其实现方式可能因属于专有技术而确实无法获取。内部在物理上不可见、主动进行抽象,以及实际上难以理解,是采用同一种黑箱表示方式的不同原因。

与之相对的术语是白箱,也称玻璃箱,通常表示其内部结构可知,而且与分析有关。灰箱则将部分结构知识与基于经验数据的估计相结合。这些并非固定不变的类别:例如,可以用已确立的电学和力学方程来表示电动机,同时根据测量结果推断其摩擦系数。这种表示究竟称为灰箱建模还是白箱建模,部分取决于学科惯例,以及所假定掌握的结构知识的程度。

现代黑箱概念形成于二十世纪的电气工程、通信与控制论领域。网络理论倡导通过可测量的端口关系,而不是逐一考察所有内部元件,来表征器件。在第二次世界大战期间及战后,反馈、自动控制和通信方面的研究使这类描述方式尤为有用。诺伯特·维纳于1948年出版的《控制论》,将机器与生物体中的通信和控制置于一个共同的数学框架之下。

W. 罗斯·阿什比在1956年出版的《控制论导论》中,明确地从方法论角度论述了黑箱。他的讨论强调实验者对操作与观察结果的记录:关于黑箱的知识,来自对它施加了什么操作,以及随后发生了什么。这一表述使黑箱概念不再局限于密封的电子仪器,而是适用于任何可以先研究其可观察行为、而不必先弄清内部组织方式的系统。它也揭示了一个始终存在的认识局限:多种不同的内部构造,可能都与同一组观察记录相符。

可观测行为的数学描述

最简单的黑箱模型是用函数表示的输入—输出关系:

y=f(u),y=f(u),

其中,uu 表示输入,yy 表示输出。当输出仅取决于当前输入时,这种表示方式是合适的。例如,静态校准曲线可以描述施加的压力与测得的电压之间的关系。然而,许多实际系统具有记忆:其响应取决于先前的输入、储存的能量、累积的磨损或其他内部状况。对于由恒温器控制温度的房间,通常不能仅凭当前的加热器功率来描述其状态。

动态表示引入了内部状态 xtx_t:

xt+1=f(xt,ut),yt=g(xt,ut).x_{t+1}=f(x_t,u_t), \qquad y_t=g(x_t,u_t).

状态不一定对应于观察者能够检查的部件,也可以只是一种数学手段,用于概括相关的历史信息。在随机模型中,还会加入扰动和测量误差,模型描述的是各种可能输出的概率分布,而不是唯一确定的响应。当表面上的行为变化可能源于噪声,而非底层机制的改变时,明确刻画这种不确定性尤为重要。

对于线性时不变系统,零初始条件下的输出可以用卷积表示:

y(t)=∫−∞∞h(τ)u(t−τ) dτ,y(t)=\int_{-\infty}^{\infty}h(\tau)u(t-\tau)\,d\tau,

其中,hh 是系统的冲激响应。在变换域中,等价的描述采用传递函数 G(s)G(s),满足 Y(s)=G(s)U(s)Y(s)=G(s)U(s)。因此,通过测量随频率变化的增益和相位,就可以表征未知设备的特性,而无须确定其内部电路的具体结构。这是黑箱表示在信号处理和控制工程中行之有效的一个主要原因。

行为等价并不意味着结构相同。两个电路即使元件的连接方式不同,也可能具有相同的端口阻抗。即便在同一个数学模型中,改变状态坐标也可以使所有输入—输出预测保持不变。如果对于可逆矩阵 TT,有 z=Txz=Tx,那么线性状态空间模型就可以在新坐标下重新表述,而不改变其外部可观测行为。因此,在将内部状态变量解释为特定物理量之前,还需要额外的证据。

可观测性及相关概念使这种区别得到了形式化表述。可观测性关注的是:在给定模型和输入历史的条件下,能否通过输出测量来区分不同的内部状态。可辨识性关注的则是:能否通过现有观测来区分不同的参数值。这两种性质都不是仅靠收集大量数据就能获得的。如果两组参数组合始终产生相同的测量输出,那么重复同样的实验再多次,也无法将它们区分开来;必须改变测量方式、干预措施或模型假设。

实验与系统辨识

系统辨识是根据观测到的系统行为构建数学模型的过程。典型的研究流程是设定输入、记录输出、提出模型类别、估计参数,并使用未参与参数估计的数据评估预测结果。模型可以是简单的差分方程、状态空间表示,也可以是灵活的非线性预测模型。模型的复杂程度应同时与预期任务和测量数据所能提供的信息相适应。

实验输入决定了能够从中获取哪些信息。单一的稳态工作点几乎无法揭示瞬态响应,而范围狭窄的输入值也无法确定系统在远超该范围时的行为。阶跃输入可以揭示调节时间和超调量;正弦输入可以揭示频率响应;宽带信号或精心设计的伪随机信号则可以激发多个动态模态。进行参数估计时,输入必须包含足够的独立变化,才能区分各个待估计因素的影响,这一要求通常称为持续激励。

考虑一个近似一阶的热过程:

τdydt+y=Ku.\tau\frac{dy}{dt}+y=Ku.

这里,KK 为稳态增益,τ\tau 为时间常数。对于初始处于平衡状态的系统,施加幅值为 UU 的恒定阶跃输入后,其响应为

y(t)=KU(1−e−t/τ).y(t)=KU\left(1-e^{-t/\tau}\right).

在 t=τt=\tau 时,输出已完成其最终变化量的约 63.2%。因此,通过观测即可估计出有用的动态模型,而无须逐一确定对象内部的所有热阻和热容。不过,当辐射、气流变化或材料性质随温度的变化变得不可忽略时,这种近似就可能失效。

噪声和反馈会使推断变得复杂。传感器可能引入延迟、滤波、量化或校准误差,因此观测到的响应既包含研究对象的影响,也包含测量系统的影响。在闭环运行中,控制器会根据测得的输出改变输入。这可能使输入与扰动相关,从而使假设噪声相互独立的方法不再可靠。辨识过程必须考虑这些依赖关系,而不能将记录下来的每一组输入—输出数据都视为一次独立实验。

验证所要考察的是,模型是否刻画了其预期用途所需的系统行为。相关检验包括独立数据上的预测误差、残差相关性、对陌生输入序列的响应,以及参数估计的不确定性。较小的平均误差可能掩盖模型在罕见但重要的瞬态过程中出现的失效。同样,在某一工作温度或负载下拟合出的模型,在其他条件下未必仍然有效。黑箱辨识给出的是一种有条件的描述,其适用范围受到已测试工况、测量质量以及有关系统如何随时间变化的假设的限制。

工程抽象与反馈控制

工程中使用黑箱,不仅是为了推断未知行为,也是为了让复杂系统更易于处理。描述一个组件时,可以规定其接口、运行限值、时序和响应特性,而其他组件无需关心其内部实现。这使分工成为可能:只要满足规定的增益、带宽、噪声和功率要求,通信链路的设计者就不必了解每个放大器在晶体管层面的构造。

在电气工程中,端口模型尤为重要。戴维南定理源于莱昂·夏尔·戴维南于1883年的研究,它用一个等效电压源和阻抗,来表示给定工作条件下的线性二端网络。这种等效模型无需复现网络的内部结构,就能预测网络与所接负载之间的相互作用。更复杂的多端口描述则通过电压、电流或行波之间的关系来表征器件。此类描述的实用性取决于线性、频率范围和工作点等假设条件。

反馈控制通常可以基于这类外部描述来设计。对于传递函数为 G(s)G(s) 的被控对象和控制器 C(s)C(s),标准单环负反馈结构从参考输入到输出的传递函数为

T(s)=C(s)G(s)1+C(s)G(s).T(s)=\frac{C(s)G(s)}{1+C(s)G(s)}.

这个表达式说明,控制器的行为与被控对象的动态特性如何共同决定闭环响应。控制器可以补偿增益的不确定性或扰动,但如果对时延或谐振的描述不准确,仍可能引发振荡或失稳。采用反馈并不意味着无需弄清哪些不确定性会产生重要影响。

鲁棒控制通过考虑被控对象的一系列可能行为,而非单一的标称模型,明确体现了这一局限。设计可能需要在参数于有界范围内变化,或存在随频率变化的建模误差时,仍能保持稳定。灰箱模型在这里往往很有用:守恒定律或已知的组件结构为模型提供约束,而不确定的系数则通过实验辨识。在电动机中,电阻和机械转动惯量可以具有明确的物理意义,即使它们的有效值会随温度或负载变化。

对组件的黑箱描述也有助于模块化设计,但组件组合后可能表现出单独测试时未曾出现的行为。两个各自稳定的子系统,通过反馈连接后可能变得不稳定。电源可能与下游变换器的输入特性相互作用;网络时延可能改变远程控制执行器的行为。因此,接口规范必须涵盖动态特性和运行条件,而不能仅规定标称输入值和输出值。否则,让组件易于描述的边界,也可能掩盖导致系统级故障的相互作用。

软件测试、接口与安全

在计算机科学中,黑盒测试不依赖程序的内部实现,而是评估其外部可见的行为。测试用例根据需求、接口规范或预期的用户交互来设计。例如,测试人员可能会检查支付服务是否拒绝负数金额、解析器能否处理格式错误的输入,或数据库操作是否返回文档中规定的结果。同一组测试可以用于同一接口的多种实现。

常用技术包括等价类划分、边界值分析、判定表和状态转换测试。等价类划分将预期会触发相似行为的输入归为一组;边界值分析则着重考察行为发生变化的边界,例如可接受的最小数值或允许的最大字符串长度。当结果取决于历史状态时,就需要进行状态转换测试。例如,即使最近一次提交的凭据完全相同,登录系统在此前已有多次登录失败的情况下,也可能作出不同响应。

核心难题在于测试预言机,也就是判断输出是否正确的手段。对于简单算术,独立计算一遍或许就足够了。但对于编译器、图像处理系统或复杂仿真,要确定正确结果可能需要付出高昂代价。蜕变测试通过检查多次执行之间的关系,来应对其中一些情况。如果某项操作在特定变换下应保持不变,那么即使不知道确切的正确输出,只要违反这种关系,就能发现缺陷。差分测试则比较多种实现的结果,不过,如果这些实现存在同样的错误,结果一致也不能证明它们正确。

黑盒测试不同于白盒测试,后者利用对内部分支、路径或数据结构的了解来指导测试。两种方法都不能完全涵盖另一种。外部测试可以发现内部覆盖率指标无法反映的需求遗漏或互操作性故障。内部分析则可以揭示常规接口使用很少触及、因而未经测试的代码路径。由于稍复杂的输入空间通常就大到无法穷尽测试,通过一套有限的测试只能为已测试行为提供证据,而不能从整体上证明不存在缺陷。

在网络安全中,黑盒评估通常是指在对实现细节事先知之甚少的情况下,从外部人员的角度开展测试。外部可见的错误消息、响应时间、资源使用情况和网络行为,可能泄露预期接口之外的信息。这些可观测现象可能构成侧信道。反过来说,无法获取源代码并不意味着系统安全:攻击者可能通过反复查询了解系统行为,而且弱点可能出在接口设计上,而非隐藏的代码中。安全属性的讨论需要以明确的威胁模型为前提,因为对普通用户看似不透明的内容,对运维人员、供应商或拥有不同权限的攻击者而言,可能是可见的。

机器学习与解释问题

在人工智能领域,黑箱通常指内部计算过程难以用简明、易于人类理解的方式加以说明的预测模型。大型人工神经网络尤其常被如此描述,但不透明性并非它们所独有。由大量简单模型组成的集成模型也可能难以审查,而小型网络则可能得到有用的解释。复杂性、访问限制、不熟悉的表示方式以及不完整的文档,都是不透明性的不同来源。

了解模型的架构和数值参数,并不一定能解释某个具体决策。深度网络可能让输入经过多层分布式数值表示的转换。即使能够精确复现其预测,各个组件的作用仍可能难以描述。反过来,即使无法获取专有模型的参数,有时也能根据其可观测行为对其进行近似。因此,计算的可复现性、实现细节的可获取性以及人类能否理解,回答的是不同的问题。

可解释人工智能涵盖从全局描述模型行为或从局部解释单个输出的方法。特征归因方法按照指定程序,估计输入变量与预测之间的关系。马尔科·图利奥·里贝罗、萨米尔·辛格和卡洛斯·格斯特林于2016年提出的 LIME,在选定预测的邻域内拟合一个可解释的近似模型。斯科特·伦德伯格和李秀仁于2017年提出的 SHAP,将加性特征归因与合作博弈论中的夏普利值联系起来。这些方法提供了结构化的描述,但其结果取决于参考分布、扰动方式以及如何处理相互依赖的特征等选择。

对模型的解释并不自动等于对现实世界的解释。如果模型使用了与某种结果相关的变量,将其预测的一部分归因于该变量,并不能确立因果关系。同样,多个相关变量可能相互替代,使得对各变量的单独归因对解释方法的选择十分敏感。一个看似合理的解释也可能并不忠实于模型:它所描述的规律或许听起来合情合理,却没有准确反映产生该输出的计算过程。

因此,评估需要区分预测性能、校准性、鲁棒性、可解释性和程序问责性。模型可能在基准测试中表现良好,却在分布变化时失效,或对对抗样本作出出乎意料的响应。记录训练数据、测试条件、预期用途和已知局限,可以提高系统的可问责性,而不必让每一种内部表示都变得透明。反过来,仅公布模型权重,并不能揭示数据是如何收集的,也不能说明部署决策是如何作出的。对于大语言模型,流畅的文字解释只是额外生成的输出,本身并不是对产生答案的计算过程所作的经核实的记录。

黑箱优化

黑箱优化旨在目标函数的内部公式或可用导数未知时,寻找能产生理想输出的输入。其目标未必是重建系统;找到有效的运行参数、设计配置或一组模型超参数,可能就已足够。典型的数学表述为

min⁡x∈Xf(x),\min_{x\in\mathcal{X}} f(x),

其中,f(x)f(x) 可以求值,但除此之外,对它的了解并不完整。求值可能涉及数值模拟器、实验室实验或实际制造过程。

这种情形不同于对显式表达式进行的常规优化。每次查询都可能成本高昂、带有噪声、存在延迟,甚至失败。一次空气动力学模拟可能需要大量计算时间;一次工业实验则可能消耗材料并中断生产。因此,求值次数往往比选择下一个候选点所需的运算成本更为重要。约束条件也可能涉及黑箱量,因此在开展实验之前,并不总能确定候选方案是否可行。

无导数方法包括直接搜索法、进化算法和随机采样策略。1965 年发表的内尔德—米德单纯形法,通过反射、收缩等操作,更新由一组候选点构成的几何结构。该方法广泛用于维度相对较低的数值问题,但不能保证对所有目标函数都表现良好。进化方法维持一个候选解种群,并利用选择和变异来探索搜索空间。这些方法能够处理不规则的目标函数,但可能需要大量求值。

贝叶斯优化尤其适合求值成本高昂的情形。它构建概率代理模型,并使用采集函数来选择下一次查询。高斯过程是一种常见的代理模型,既能给出目标函数值的预测,也能估计不确定性。期望改进等采集准则,会权衡预测性能良好的候选点与探索不确定区域的价值。这正是探索与利用的权衡的一个实例:反复测试当前最有希望的候选点,可能会错过更好的区域;而过度探索则会浪费有限的求值机会。

黑箱优化存在不可避免的局限。如果不对平滑性、结构或问题分布作出假设,那么在已测试点获得的观测结果,几乎无法提供关于未测试点的信息。戴维·沃尔珀特和威廉·麦克雷迪于 20 世纪 90 年代提出的“没有免费午餐”定理,以形式化方式表明:在特定的均匀平均假设下,不存在普遍优于其他方法的搜索方法。这些结果并不意味着所有方法在实际问题类别上的表现都相同。领域知识、有意义的边界、恰当的代理模型假设,以及对噪声的切实处理,恰恰是使一种方法在特定任务上优于另一种方法的关键。

科学解释与社会技术不透明性

黑箱模型在预测与解释之间占据着重要位置。科学模型可以准确描述规律,却不一定能识别产生这些规律的机制。例如,拟合得到的剂量—反应曲线或群体层面的统计关系,可以概括观察到的行为,却仍未厘清其背后的若干过程。这类模型可以具有科学价值,但它们在证据层面所能支持的主张,不同于那些明确指出相互作用的组成部分和过程的机制性解释。

在科学哲学中,这引出了何谓理解的问题。预测事件、找出事件的原因以及呈现事件发生的机制,是彼此相关却并不相同的成就。模型预测准确,可能是因为它捕捉到了稳定的相关性,而非因果结构。反过来,机制模型即使正确描述了主要过程,也可能因参数存在不确定性,或遗漏了相关尺度,而无法给出准确的数值预测。“黑箱”这一标签并不能判定哪一种模型更优;模型是否恰当,取决于所要回答的问题。

干预有助于区分那些仅靠常规观察无法分辨的描述。如果两种候选机制在常规条件下预测的行为相同,但在受控扰动下预测的行为不同,那么实验就可以将二者区分开来。这一逻辑是受控实验许多应用的基础,随机对照试验就是其中之一。即便如此,识别出平均效应本身,也不意味着揭示了其中的每一个中间机制。改变实验条件还可能改变系统本身,因此,研究结果在不同环境或人群中未必能原封不动地适用。

这一术语在科学技术研究中又有了进一步的含义。布鲁诺·拉图尔于1987年出版的《科学在行动》将黑箱化描述为这样一个过程:一套成功的科学或技术配置逐渐被视为一个稳定的整体。为构建它而付出的工作、开展的协商、使用的仪器以及所依赖的条件,都逐渐淡出日常关注。实验室仪器可以被当作可信的测量来源使用,而使用者不必反复追溯其制造与校准的历史。一场故障或争议则可能重新打开这个黑箱,让隐藏的依赖关系显现出来。

对于数字服务和自动化运作的机构而言,不透明性既可能源于技术,也可能源于组织安排。一个组织可能负责提供数据,另一个负责开发模型,还有一个负责运行决策系统。知识产权、数据隐私、访问权限以及合同规定的职责划分,都可能限制各参与方所能看到的信息。因此,解释某一次输出,与追溯一项已投入运行的服务的责任归属,是不同的任务。日志、版本记录、数据来源与流转记录以及独立评估,分别针对这一问题的不同方面。任何单一形式的信息披露,无论是源代码、特征归因图,还是政策声明,都未必能提供理解某个重大结果如何产生所需的全部信息。

航空记录器及其他具体用途

在航空领域,黑匣子通常指飞行数据记录器、驾驶舱话音记录器,或兼具这两种功能的一体化设备。这些仪器为航空事故和事故征候调查保存证据。飞行数据记录器记录选定的飞机及其系统参数,驾驶舱话音记录器则录制驾驶舱内各音频通道的声音,包括机组人员的谈话和相关无线电通信。这些设备并不能自动解释事故原因:调查人员必须结合实物证据、维修资料、运行记录及其他数据,对其记录进行解读。

早期飞行记录设备的出现,早于将两种记录功能整合在一起的现代概念,其发展也凝聚了多个国家和工业界的努力。20世纪50年代,澳大利亚科学家戴维·沃伦在墨尔本的航空研究实验室工作期间,提出了一种将驾驶舱话音与飞行信息一并记录的装置。这项工作是在对德哈维兰“彗星”式喷气客机早期事故展开调查后进行的。一台原型机展示了,能够长期保存的技术状况和驾驶舱活动记录,可以提供仅凭残骸无法获得的证据。

尽管名为黑匣子,具备坠毁防护能力的记录器通常涂成亮橙色,以便在搜寻回收时更容易被发现。现代设备采用受保护的固态存储器,并按照规定的抗冲击、耐火、耐压和耐浸水要求设计。水下定位信标在遇水激活后发出声学信号,辅助搜寻回收。信标只是定位辅助装置,并不能将存储的飞行记录无限距离地传送出去;能否成功回收,仍取决于搜寻条件、水深、声传播情况以及信标的工作寿命。

记录能力因航空器类别、设备代际、适航审定要求和适用规章而异。记录的飞行参数可包括高度、空速、航向、操纵装置位置、发动机信息和系统状态。驾驶舱话音记录能够提供单凭数值参数可能无法反映的时间线索和运行背景。对不同记录进行时间同步,是分析工作中的关键步骤:某个声音、警告、操纵输入及测得的飞机响应,可能分别由时钟或采样特性不同的系统记录。

在其他具体用法中,只要某项复杂功能被集成到一个可更换单元中,该单元就可能被称为黑箱。对于航空电子设备、电信模块和电子控制组件,如果技术人员通过标准化接口进行诊断或更换,而不是在现场维修其内部部件,就可能采用这一称呼。在车辆中,事件数据记录器是一种功能更有限的设备,用于存储触发事件前后选定的信息;它并不等同于持续记录的航空飞行记录器。这些实物层面的用法保留了黑箱这一广义概念对边界和接口的强调,但被称为黑箱的对象本身,也可能具有便于查阅的详细文档、标准化的数据格式,以及已得到充分理解的内部机制。