黑盒测试是一种软件测试方法,依据系统规定的行为或预期行为,而非其内部实现来选择测试。测试人员提供输入,观察输出及其他外部可见的效果,并检查它们是否满足相关要求。被测对象可以是函数、组件、应用程序,也可以是完整的服务。黑盒测试不要求能够访问源代码,但即使能够访问源代码,也不妨碍使用黑盒技术设计测试。
原理与范围
黑盒测试将实现视为隐藏在可观察接口之后的部分。该接口可以是图形用户界面、命令行界面、网络协议或应用程序编程接口(API)。可观察的行为不仅包括返回值,还包括错误消息、持久化数据的变化、发出的事件、响应时间,以及与外部系统的交互。
对于简单的确定性操作,可以将其实现表示为函数 。测试提供输入 ,获得 ,并将结果与预期行为进行比较。更一般地说,规格说明定义了一个接受关系 :
这种表述允许存在多个可接受的输出,而不要求唯一的确切答案。有状态系统则需要更丰富的模型:结果不仅可能取决于当前输入,还可能取决于初始状态、先前操作、时序和执行环境。
关键区别在于选择测试的依据,而不是测试人员是否了解实现。即使开发者亲自编写了代码,只要依据接口契约设计测试,采用的仍然是黑盒方法。
与其他测试方法的关系
白盒测试依据分支、执行路径或数据流等内部结构设计测试。灰盒测试则将外部交互与部分实现知识结合起来,例如利用架构信息或数据库结构。这些方法相互补充:同一次执行既可以计入行为覆盖,也可以计入结构覆盖。
黑盒测试也不同于以下几种分类:
- **测试级别:**黑盒技术可用于单个组件、集成、完整系统或验收测试。
- **测试目标:**既可以检查功能行为,也可以检查性能、互操作性等质量属性。
- **执行方式:**测试既可以手动执行,也可以自动执行。
- **功能测试:**功能测试关注系统做什么;黑盒测试关注测试如何设计。两者有所重叠,但不能互换使用。
基于规格说明的测试常被视为黑盒测试的近义词,不过,当正式规格说明不完整时,黑盒测试也可以依据用户预期、既定惯例或已观察到的行为来设计。
测试设计技术
穷尽测试所有可能的输入通常并不现实。黑盒技术通过组织输入空间和行为空间,使数量可控的一组测试能够揭示具有实际意义的各类缺陷。
等价类划分
等价类划分将输入分为若干组,预期同一组中的输入会得到类似处理,然后从每组中选取代表值。
对于接受 1 至 100 之间数值的整数字段,基本分组可以是小于 1 的值、允许范围内的值,以及大于 100 的值。非整数值、缺失值或格式错误的表示形式可能需要另行分组。
同一等价类中的成员具有相似行为,这一假设来自规格说明或领域模型,并不代表实现一定如此。
边界值分析
边界值分析关注等价类的边界,因为比较运算符使用不当、差一错误等缺陷往往会在这些位置显现。
对于上述整数范围,有用的测试值包括 0、1、2、99、100 和 101。应选取哪些相邻值取决于数据类型和规格说明。浮点数、日期、字符串长度,以及包含或不包含端点的情况,都需要分别处理。
决策表
决策表表示各种条件组合及其要求执行的操作。当资格判定、定价或权限等业务规则的结果由多个因素共同决定时,决策表尤其有用。
决策表可以揭示遗漏的组合、相互矛盾的规则,以及不影响结果的条件。当涉及的条件较多时,组合数量可能变得很大。
状态转换测试
状态转换测试用状态、事件和转换对行为建模,通常采用有限状态机。测试会涵盖有效转换、无效转换及操作序列。
例如,账户可能在正常、锁定和停用等状态之间转换。如果预期结果取决于此前登录失败的次数或先前的管理操作,仅测试孤立的请求就不够。
组合测试
组合测试选取参数值的组合,以覆盖指定数量因素之间的交互。例如,成对测试力求覆盖模型中不同因素取值之间的每一种两两组合。
与测试所有组合相比,这种方法可以大幅减少测试数量。但成对覆盖不能保证发现由三个或更多因素交互才会触发的故障,而且测试效果取决于参数模型的质量。
基于经验的测试与生成式测试
黑盒测试还可以采用真实工作流程、以往观察到的故障、探索性调查,以及刻意构造的无效输入。
模糊测试通过生成或变异输入,暴露崩溃、挂起以及意外接受格式错误数据等故障。模糊测试可以采用黑盒方式,但利用内部执行反馈的实现并不是纯粹的黑盒测试。
预期结果与测试预言机
测试预言机是判断观察到的行为是否可接受的依据。测试预言机可以包括:
- 明确的需求和接口契约。
- 独立计算出的预期结果。
- 可信的参考实现。
- 领域规则和不变性质。
- 相关执行结果之间的关系。
测试预言机的质量是黑盒测试的一项核心制约因素。测试可能只能确认系统符合某项错误的需求;如果自动比较所用的预期结果与系统采用了相同的错误逻辑生成,也可能漏掉缺陷。
当难以明确规定确切输出时,蜕变测试会检查不同执行之间的关系。例如,对同一组输入元素采用不同排列,排序操作都应产生相同的有序结果。这类关系无需逐一独立计算所有输出,就能提供有关行为的证据。
非确定性系统需要格外谨慎地处理。可接受的结果可以用允许的结果集合、容差、统计性质或时间限制来定义,而不是要求完全相等。
执行与覆盖
可复现的黑盒测试通常会记录相关需求或目标、前置条件、输入数据、操作、预期观察结果及清理步骤。前置条件很重要,因为相同的请求可能因配置、权限、持久化状态或外部依赖不同而表现不同。
自动化测试通常通过 API 或用户界面执行操作,并利用断言核对观察结果。在变更后重新执行已有测试,是回归测试的一种形式。维护这些测试需要管理测试数据、环境差异、时序,以及预期行为的合理变更。
黑盒覆盖率可以根据行为模型衡量,包括:
- 需求和验收标准。
- 输入等价类及其边界。
- 决策表规则。
- 状态、转换和操作序列。
- 参数组合。
- 支持的环境和接口操作。
这些指标并不等同于源代码覆盖率。即使完全覆盖了选定的行为模型,也不能证明实现中的每条路径都已执行,更不能证明该模型本身是完整的。
应用
在软件工程中,黑盒测试有助于检查独立开发的组件之间的契约,并评估无法获取其实现的软件。它还支持可移植性测试、兼容性测试,以及对外部可见的质量要求进行评估。
在网络安全领域,黑盒评估在事先对实现了解有限的情况下,通过可访问的接口检查系统。渗透测试可以采用这种方法,调查身份认证、访问控制、输入处理和对外开放服务中的弱点。安全测试仍然需要明确的范围和威胁模型;测试人员掌握的信息有限,并不能证明评估复现了现实中所有攻击者的能力。
对于机器学习系统,黑盒评估可以在不查看模型参数的情况下检查预测结果。评估结果取决于评估数据、验收标准和运行条件。在有限测试集上的表现,并不能证明系统在未来所有输入上的行为,尤其是在发生分布偏移时。
优势与局限
黑盒测试将评估直接关联到可观察的需求和面向用户的行为。它可以发现功能缺失、输出错误、接口不兼容,以及只有在完整工作流程中才会出现的故障。即使实现发生重大变化,依据稳定契约设计的测试仍可能有用。
其主要局限是行为覆盖不完整,以及可提供的诊断信息有限。测试失败表明存在可观察到的不一致,但不一定能指出其内部原因。测试通过则只能说明,在所测试的条件下,观察到的这次执行满足了所选检查项。
隐藏的内部缺陷、极少到达的状态,以及未建模的交互可能仍未被发现。需求含糊会削弱测试设计的有效性,而不可靠的环境可能造成与产品本身无关的失败。结构测试、代码审查和形式验证分别关注正确性的不同方面,可以补充黑盒测试提供的证据,而不能由黑盒测试取代。