aiwiki.page
中文
数学 / 概率与统计 / response-surface-methodology

响应面法

响应面法结合实验设计、统计建模与优化,研究并改善受多个变量影响的响应。

26 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
实验设计数学优化方差正态分布统计交互作用多项式泰勒级数线性回归响应面法

**响应面法(RSM)**是一组用于对受多个输入变量影响的响应进行建模、分析和优化的方法。它将实验设计、经验建模与数学优化结合起来,形成一个序贯过程:通过实验找出有潜力的操作条件,用拟合模型描述局部响应,再通过进一步实验检验并完善预测的改进方案。当对内在机理的认识尚不完整,且观测成本高昂或观测结果受实验变异影响时,响应面法尤其有用。

响应面是输入设置与期望响应之间的关系。虽然名称中有“面”字,但这种关系可以涉及任意数量的输入;当输入为两个时,可以将其绘制为三维曲面或等高线图。

起源与范围

现代响应面法通常被认为起源于乔治·E. P. 博克斯与 K. B. 威尔逊于 1951 年发表的论文《论通过实验达到最优条件》。他们的方法强调,利用相对简单的经验模型和序贯实验来改进工业过程,而不是先建立完整的机理描述再进行优化。

此后,响应面法广泛应用于化工、制造、配方开发、分析化学及其他实验科学领域。其核心特征不只是拟合一个二次方程,而是协调实验方案的选择、模型评估、实验区域内的搜索以及改进条件的验证。

典型目标包括:

  • 最大化产率、强度或效率。
  • 最小化缺陷、处理时间或资源消耗。
  • 达到指定的目标响应。
  • 找到满足多项响应要求的操作条件。
  • 识别性能对输入微小变化相对不敏感的区域。

数学表述

设 YY 表示观测响应,x=(x1,…,xk)T\mathbf{x}=(x_1,\ldots,x_k)^\mathsf{T} 表示 kk 个因子的设置。基本模型为

Y=f(x)+ε,E(ε∣x)=0.Y=f(\mathbf{x})+\varepsilon, \qquad E(\varepsilon\mid\mathbf{x})=0.

未知函数 f(x)=E(Y∣x)f(\mathbf{x})=E(Y\mid\mathbf{x}) 是均值响应面。误差项表示模型中的输入无法解释的变异。

经典响应面法通常假定误差具有恒定的方差,且彼此独立。许多传统检验和区间估计还假定误差服从正态分布。这些假设针对的是误差,而不是因子设置的分布。

因子编码

通常会将因子从物理单位转换为无量纲的编码变量:

xi=zi−zi0Δi,x_i=\frac{z_i-z_{i0}}{\Delta_i},

其中,ziz_i 是原始设置,zi0z_{i0} 是参考设置,Δi\Delta_i 是选定的尺度。这样,实验区域的中心就表示为 x=0\mathbf{x}=\mathbf{0},选定的低水平和高水平通常分别编码为 −1-1 和 +1+1。

编码使系数更易于比较,也能改善数值计算的条件性。它还决定了搜索的几何结构:某个编码因子的一个单位步长对应其选定的物理尺度,因此所谓“最陡”方向取决于这种尺度选择。

一阶模型

当当前实验区域内的曲率较小时,一阶模型可能就已足够:

f(x)≈β0+∑i=1kβixi.f(\mathbf{x})\approx \beta_0+\sum_{i=1}^{k}\beta_i x_i.

该模型表示一个平面或超平面。它能够描述局部趋势,但无法表示区域内部孤立的极大值或极小值。

当一个因子的效应取决于另一个因子时,可以加入交互项:

f(x)≈β0+∑iβixi+∑i<jβijxixj.f(\mathbf{x})\approx \beta_0+\sum_i\beta_i x_i+ \sum_{i<j}\beta_{ij}x_ix_j.

这些项表示统计交互作用。它们不能替代描述各个因子方向上曲率所需的纯二次项。

二阶模型

标准的二阶响应面为

f(x)≈β0+∑i=1kβixi+∑i=1kβiixi2+∑i<jβijxixj.f(\mathbf{x})\approx \beta_0+ \sum_{i=1}^{k}\beta_i x_i+ \sum_{i=1}^{k}\beta_{ii}x_i^2+ \sum_{i<j}\beta_{ij}x_ix_j.

它包含

p=1+2k+k(k−1)2=(k+1)(k+2)2p=1+2k+\frac{k(k-1)}{2} =\frac{(k+1)(k+2)}{2}

个系数。例如,三个因子对应十个系数。

二次多项式无需详细的过程机理,就能表示曲率、交互作用和局部驻点。其局部适用性可以用泰勒级数展开来说明,但拟合系数是经验估计值,不一定等于真实响应的导数。

虽然模型对输入而言是二次的,但对系数而言是线性的。因此,可以使用线性回归进行拟合。

序贯实验

典型的响应面研究分为几个阶段,但并非每项应用都需要经历所有阶段。

筛选与初步探索

当候选因子较多时,可通过预备实验识别与响应最相关的因子。为此,常采用完全或部分析因设计。

筛选可以减少进入后续高成本响应面研究的因子数量。不过,部分析因设计可能使不同效应相互混杂,而且某个因子在一个范围内看似不重要,在另一个范围内却可能发挥重要作用。

向更优条件推进

如果一阶模型足够适用,其梯度就给出了预测响应在局部上升最快的方向:

∇f^=(β^1⋮β^k).\nabla\hat f= \begin{pmatrix} \hat\beta_1\\ \vdots\\ \hat\beta_k \end{pmatrix}.

对于最大化问题,可以沿最陡上升路径开展实验;对于最小化问题,则取相反方向。步长应根据可行性、成本和观测结果来选择。这一过程与梯度下降等基于梯度的优化方法有关,但其方向是从实验数据中推断出来的,而不是由一个精确已知的函数计算得到的。

当响应不再改善时,一阶近似可能已不再适用。此时可以开展新的局部实验,研究曲率。

局部二次建模与验证

在有潜力的区域附近,采用能够支持二阶模型的设计来估计曲率和交互作用。拟合曲面给出候选操作条件,再通过验证实验加以检验。

验证十分重要,因为优化可能偏向某些设置,而在这些设置处,估计误差恰好使拟合响应显得格外理想。因此,预测的最优点只是基于模型提出的候选点,而不是已经得到实验证实的结果。

二次响应面的实验设计

有效的设计必须使所需系数可估,并在整个关注区域内提供足够的预测精度。观测数需要多于系数个数,才能保留残差自由度;重复实验还有助于估计实验误差。

中心复合设计

中心复合设计由以下部分组成:

  • 析因设计或适当的部分析因设计部分。
  • 位于各坐标轴上的轴点,也称星点。
  • 中心点,通常进行重复实验。

对于 kk 个因子,轴点部分包含 2k2k 个点,其形式为

(±α,0,…,0),(0,±α,…,0),…(\pm\alpha,0,\ldots,0),\quad (0,\pm\alpha,\ldots,0),\quad\ldots

轴点使各个纯二次效应能够分别得到估计。

如果拟合均值响应的方差只取决于距设计中心的距离,而不取决于方向,则称该设计具有旋转性。对于析因部分满足必要对称条件的常规中心复合设计,取

α=NF1/4,\alpha=N_F^{1/4},

即可获得旋转性,其中 NFN_F 是析因部分的实验次数。

面心设计采用 α=1\alpha=1,使轴点保持在析因部分的边界之内,但一般不具有旋转性。其他设计形式会重新缩放析因部分和轴点部分,以适应实际限制。

Box–Behnken 设计

Box–Behnken 设计利用选定的因子组合及中心点实验来估计二次模型;在这些组合中,每次有一对因子变化,其余因子保持在中心水平。在标准编码形式下,每个因子有三个水平。

这类设计避开了实验立方体中所有因子同时处于极端水平的顶点组合。当不宜让多个因子同时取极端设置时,这一点很有用。不过,它们的几何覆盖范围与中心复合设计不同,效率比较也取决于因子数量和设计要求。

受约束设计与专用设计

当某些因子组合不可行时,标准的对称设计可能不适用。这时可以利用计算机生成设计,根据系数精度或预测方差等准则,从允许区域中选择实验点。

混料实验需要特殊处理,因为各组分比例满足如下约束:

∑i=1kxi=1.\sum_{i=1}^{k}x_i=1.

此时,普通无约束二次模型的参数化会产生冗余,因此需要采用混料专用模型和设计。

对于包含难以改变的因子的实验,可能需要采用受限随机化,其误差结构也可能比普通独立误差回归更复杂。

估计与模型评估

将拟合模型写为

y=Xβ+ε,\mathbf{y}=X\boldsymbol{\beta}+\boldsymbol{\varepsilon},

则普通最小二乘法估计为

β^=(XTX)−1XTy,\hat{\boldsymbol{\beta}} =(X^\mathsf{T}X)^{-1}X^\mathsf{T}\mathbf{y},

前提是设计矩阵列满秩。在实际计算中,通常应优先使用稳定的矩阵分解方法,而不是显式求逆。

模型评估包括:

  • 利用残差图检查方差不恒定、异常观测和系统性结构。
  • 检查漂移、批次效应或各次实验之间的相关性。
  • 对曲率和交互作用进行检验及图形评估。
  • 比较预测响应与观测响应。
  • 进行独立验证,或在适当情况下采用交叉验证。

当在相同因子设置下进行重复观测时,方差分析可以将残差变异分解为纯误差和失拟。纯误差衡量这些重复观测之间的变异;失拟衡量拟合模型与各实验设置下响应均值之间的偏离。

失拟检验不显著并不证明模型正确:重复次数有限或设计稀疏时,检验可能缺乏足够的功效来发现模型不适用。同样,较高的决定系数也不能证明模型预测性能良好,或所求最优点可靠。

对于回归向量为 h(x)\mathbf{h}(\mathbf{x}) 的输入设置,拟合均值的估计方差为

Var⁡^{f^(x)}=s2h(x)T(XTX)−1h(x).\widehat{\operatorname{Var}}\{\hat f(\mathbf{x})\} =s^2\mathbf{h}(\mathbf{x})^\mathsf{T} (X^\mathsf{T}X)^{-1} \mathbf{h}(\mathbf{x}).

均值响应的置信区间不同于新观测值的预测区间,后者还包含单次实验的变异。

拟合曲面的分析与优化

二次模型可以写为

f^(x)=β^0+bTx+xTBx,\hat f(\mathbf{x}) =\hat\beta_0+\mathbf{b}^\mathsf{T}\mathbf{x} +\mathbf{x}^\mathsf{T}B\mathbf{x},

其中,BB 是对称矩阵,其对角元素为纯二次项系数,非对角元素为对应交互项系数的一半。

梯度和海森矩阵为

∇f^(x)=b+2Bx,∇2f^(x)=2B.\nabla\hat f(\mathbf{x})=\mathbf{b}+2B\mathbf{x}, \qquad \nabla^2\hat f(\mathbf{x})=2B.

如果 BB 非奇异,则驻点为

xs=−12B−1b.\mathbf{x}_s=-\frac{1}{2}B^{-1}\mathbf{b}.

考察 BB 的特征值与特征向量,可根据特征值对驻点分类:

  • 全部为负:拟合二次函数的严格极大值点。
  • 全部为正:严格极小值点。
  • 既有正值又有负值:鞍点。

零特征值表明存在平坦方向,需要进一步分析。较小的特征值可能使估计的驻点位置对系数的不确定性高度敏感。

即使驻点明确存在,也可能位于实验区域之外。在这种情况下,在指定的可行集上进行优化,或考察边界处的响应,比将无约束驻点视为可实现的最优点更有意义。

示例

考虑以下拟合响应:

y^=80+4x1+2x2−2x12−x22+x1x2.\hat y =80+4x_1+2x_2-2x_1^2-x_2^2+x_1x_2.

其驻点方程为

4−4x1+x2=0,2+x1−2x2=0,4-4x_1+x_2=0, \qquad 2+x_1-2x_2=0,

解得

x1=107,x2=127.x_1=\frac{10}{7}, \qquad x_2=\frac{12}{7}.

海森矩阵为

(−411−2),\begin{pmatrix} -4&1\\ 1&-2 \end{pmatrix},

该矩阵负定,因此在无约束条件下,此点使拟合二次函数取得最大值。然而,它位于正方形 [−1,1]2[-1,1]^2 之外。如果允许区域就是这个正方形,那么约束最大值出现在 (1,1)(1,1),此时 y^=84\hat y=84。

这一区别表明,对拟合方程进行数学优化,与对实际过程进行有充分依据的优化,并不是一回事。

多响应与稳健操作区域

过程往往具有多个响应,其优化目标之间存在冲突。例如,提高产率可能降低纯度,缩短处理时间可能增大变异。

常见方法包括:

  • 在对其他响应施加限制的条件下,优化某一个响应。
  • 考察非支配操作条件之间的权衡。
  • 将各响应的期望度评分合成为一个总体准则。

一种常用的综合期望度指标为

D=(∏j=1mdjwj)1/∑jwj,D= \left( \prod_{j=1}^{m}d_j^{w_j} \right)^{1/\sum_j w_j},

其中,dj∈[0,1]d_j\in[0,1] 描述响应 jj 的期望度,wj>0w_j>0 指定其权重。结果取决于所选的目标、界限、权重和期望度函数,并不能客观地解决相互冲突的优先目标。

实际中最好的操作设置也可能是一个性能令人满意的宽阔区域,而不是拟合均值的精确峰值点。敏感性分析可以考察输入的微小偏差如何影响性能。对响应变异本身进行建模,通常需要适当的重复实验或专门的方差建模策略。

应用与局限

对于定量因子数量不多、响应相当平滑,且在可达到的区域内进行局部改进具有实际意义的实验,响应面法尤为有效。其应用包括反应条件优化、提取过程、机加工参数、材料配方和分析方法开发。

其主要局限包括:

  • 局部近似。 二次曲面未必能描述所研究区域之外的响应。
  • 实验负担不断增加。 二次模型的系数个数随因子数量的平方增长,从而加剧维数灾难。
  • 模型失配。 对于不连续性、强烈不对称性、阈值现象以及多个相互分离的最优点,模型可能难以准确表示。
  • 最优点的不确定性。 看似精确的坐标可能掩盖相当大的统计不确定性。
  • 对实验实施过程敏感。 漂移、测量误差、受限随机化以及未受控制的因子都可能使拟合曲面失真。
  • 机理解释能力有限。 经验系数描述的是特定条件下的行为,本身并不能确立物理机理。

对于高度非线性或计算成本高昂的计算机模型,采用更灵活的代理建模方法,包括高斯过程模型,可能更为合适。经典响应面法的独特之处,仍在于强调经济高效的设计实验、易于解释的局部模型,以及通过序贯实验持续改进。