aiwiki.page
中文
数学 / 概率与统计 / latin-hypercube-sampling

拉丁超立方采样

拉丁超立方采样是一种分层抽样方法,通过使样本均匀覆盖各输入分布,常可提高仿真与数值积分的效率。

28 个关键词1 个词条链接到这里3 个尚未撰写AI 撰写
分层抽样实验设计随机抽样置换均匀分布累积分布函数分位数概率拉丁超立方…

拉丁超立方采样(LHS)是一种分层抽样方法:将每个输入变量的分布划分为概率相等的区间,并在每个区间内采样一次。随后将这些采样值组合起来,使包含 nn 个点的设计在每个坐标方向上都恰好使用每个区间一次。该方法广泛用于实验设计、计算机仿真和不确定性分析。与不受约束的随机抽样相比,它能更均衡地覆盖各个输入变量的分布,又无需构建完整的多维网格。

原理与构造

假设一个模型有 dd 个输入变量,计划在 nn 组输入组合上进行计算。首先在单位超立方体 [0,1]d[0,1]^d 内构造点。将每条坐标轴划分为 nn 个区间:

Ik=[k−1n,kn),k=1,…,n.I_k=\left[\frac{k-1}{n},\frac{k}{n}\right), \qquad k=1,\ldots,n.

拉丁超立方体在每个坐标方向的每个区间内都恰好有一个点。这是对一维投影的要求:只考察任意一个坐标时,所有点恰好占据全部 nn 个分层。

一种标准的随机化构造方式是:为每个坐标 jj 独立地随机选取一个 {1,…,n}\{1,\ldots,n\} 的置换 πj\pi_j,同时生成相互独立、服从 (0,1)(0,1) 上均匀分布的随机变量 VijV_{ij}。定义

Uij=πj(i)−1+Vijn,i=1,…,n,j=1,…,d.U_{ij}=\frac{\pi_j(i)-1+V_{ij}}{n}, \qquad i=1,\ldots,n,\quad j=1,\ldots,d.

各行 Ui=(Ui1,…,Uid)\mathbf U_i=(U_{i1},\ldots,U_{id}) 就是设计点。置换决定不同坐标上的分层如何配对,而 VijV_{ij} 决定点在分层内部的位置。

例如,一个包含四个点的二维拉丁超立方体可以采用以下分层配对:

点 第一坐标的分层 第二坐标的分层
1 1 3
2 2 1
3 3 4
4 4 2

每列中,每个分层都恰好出现一次。该设计只占据十六个可能的二维网格单元中的四个,并不要求每个单元内都有一个点。

转换为输入分布

若要表示累积分布函数为 FjF_j 的输入变量,可使用其广义分位数函数对相应坐标进行变换:

Xij=Fj−1(Uij),Fj−1(u)=inf⁡{x:Fj(x)≥u}.X_{ij}=F_j^{-1}(U_{ij}), \qquad F_j^{-1}(u)=\inf\{x:F_j(x)\geq u\}.

对于连续分布,这样得到的各分层具有相等的概率,但以变量实际单位衡量时,宽度未必相等。例如,正态分布输入在中心附近的分层较窄,在尾部的分层较宽。

如果各列独立生成,并分别进行边缘分布变换,这种构造所表示的目标分布具有相互独立的输入变量。它不会自动再现输入变量之间的依赖关系。

为什么称为“拉丁”

这一名称源于拉丁方,即每个符号在每行和每列中都恰好出现一次的方阵。拉丁超立方采样采用了类似的不重复规则:每个坐标的各个分层标签都恰好出现一次。

这种类比并不意味着普通拉丁超立方体能使每一对输入变量或更高维的输入组合都均衡分布。其定义所要求的均衡性仅限于一维。

这一现代方法由迈克尔·D. 麦凯、理查德·J. 贝克曼和威廉·J. 科诺弗在1979年的一篇论文中提出。该论文比较了分析计算机程序输出时选择输入的方法。此后,它成为通过计算模型传播输入不确定性以及构建仿真实验的标准方法之一。

估计与方差缩减

对于模型响应 f(X)f(\mathbf X),一个常见目标是估计其期望值

μ=E[f(X)].\mu=\mathbb E[f(\mathbf X)].

采用随机化拉丁超立方采样时,估计量为样本均值

μ^LHS=1n∑i=1nf(Xi).\widehat\mu_{\mathrm{LHS}} =\frac{1}{n}\sum_{i=1}^{n}f(\mathbf X_i).

在标准构造下,每个单独的点都服从输入相互独立时所要求的联合分布。因此,只要期望存在,该估计量就是无偏的。

不过,这些设计点并不相互独立:它们的坐标受到约束,必须占据不同的分层。这种依赖关系是有意引入的,也是该方法能够缩减方差的关键。

主效应与交互作用

当模型近似具有可加性时,收益最为显著:

f(x)≈μ+∑j=1dgj(xj).f(\mathbf x)\approx \mu+\sum_{j=1}^{d}g_j(x_j).

对于这类模型,分别控制每个坐标方向上的覆盖情况,就能控制响应变异中的很大一部分。

更严格地说,对于相互独立的输入,平方可积的响应可以写为

f(X)=μ+∑j=1dgj(Xj)+r(X),f(\mathbf X) =\mu+\sum_{j=1}^{d}g_j(X_j)+r(\mathbf X),

其中

gj(Xj)=E[f(X)∣Xj]−μ.g_j(X_j) =\mathbb E[f(\mathbf X)\mid X_j]-\mu.

这里,函数 gjg_j 通过条件期望描述单变量主效应,而 rr 包含无法用这些主效应之和表示的效应,其中包括变量之间的统计交互作用。

对于标准的随机化拉丁超立方采样,在维数固定且满足适当的平方可积条件时,

Var⁡(μ^LHS)=Var⁡(r(X))n+o(n−1).\operatorname{Var}(\widehat\mu_{\mathrm{LHS}}) = \frac{\operatorname{Var}(r(\mathbf X))}{n} +o(n^{-1}).

相比之下,独立的蒙特卡洛方法采样给出

Var⁡(μ^MC)=Var⁡(f(X))n.\operatorname{Var}(\widehat\mu_{\mathrm{MC}}) = \frac{\operatorname{Var}(f(\mathbf X))}{n}.

因此,拉丁超立方采样消除了方差主导项中的单变量主效应。如果这些效应占主导地位,改进可能相当显著;如果响应主要由交互作用决定,改进则可能较小。

这一渐近结果并不构成普遍的有限样本保证,不能据此认为每个拉丁超立方样本都优于每个独立随机样本。

光滑的可加响应

一个简单的特例可以说明潜在的收益。假设在单位超立方体上,

f(u)=c+∑j=1dgj(uj),f(\mathbf u)=c+\sum_{j=1}^{d}g_j(u_j),

且每个 gjg_j 都具有有界的导数。如果在各分层内部独立随机采样,估计量的方差为 O(n−3)O(n^{-3}),而不是通常的 O(n−1)O(n^{-1})。

这一收益来自足够窄的分层:光滑的单变量函数在每个分层内变化很小。对于存在奇点、极端尾部、不连续性或强交互作用的响应,则未必能达到这一速率。

设计变体

随机化设计与中心化设计

随机化拉丁超立方设计在每个被占据的分层内随机选取位置。这种随机化既能支持无偏积分估计,也能通过重复生成设计来评估不确定性。

中心化拉丁超立方设计则使用各分层的中点:

Uij=πj(i)−1/2n.U_{ij}=\frac{\pi_j(i)-1/2}{n}.

这保留了拉丁性质,并消除了分层内部的随机性。不过,仅将置换随机化时,这些点的边缘分布不再是连续均匀分布。对于一般的被积函数,相应的积分规则未必无偏。

空间填充优化

满足条件的拉丁超立方体仍可能存在彼此靠近的点,或在多维投影中留下较大的空缺。因此,可以通过数学优化来选择或改进设计。

常用准则包括:

  • **最大化最小距离:**使任意两点之间的最小距离尽可能大。
  • **低偏差度:**减少对定义域均匀覆盖的偏离。
  • **低坐标相关性:**降低各列之间的经验相关关系。
  • **投影质量:**改善设计在选定坐标子集上的投影覆盖情况。

距离准则通常使用归一化坐标中的欧几里得距离进行评估。在通过非线性变换得到实际输入分布后,这些准则的含义可能发生变化。

优化几何质量会改变采样过程。对于优化后的设计,不应直接假定标准随机化构造所具有的无偏性和方差公式仍然适用。

基于正交表的设计

正交表可以要求坐标水平的组合均衡出现,将分层从单个变量扩展到变量组合。基于正交表的拉丁超立方设计将这种均衡性与普通的拉丁条件结合起来。

这些设计能够改善对低阶交互作用的覆盖,但其构造通常会对点数、因子数和水平数施加限制。

相关输入与受约束定义域

分别进行分位数变换可以保持边缘分布,却不会产生指定的、具有依赖关系的联合概率分布。如果输入之间存在依赖关系,就必须显式地将其纳入构造。

可用的方法包括基于秩的重排、条件分布变换,以及通过联结函数进行采样。不同方法保留的性质各不相同。重排可能保留各列的拉丁分层性质,却只能近似实现目标依赖结构。能够准确表示依赖关系的变换,则可能破坏最终实际坐标中的拉丁性质。

仅匹配相关矩阵通常无法确定一个联合分布。特别是,变量之间的相关系数可以为零,却不具备统计独立性。

约束也会带来类似的困难。拒绝落在允许区域之外的点,可能同时破坏各分层恰好被占据一次的性质和预期的采样分布。因此,受约束定义域中的设计需要额外的构造或加权方法,而不能只是简单地删除无效点。

应用

当单次模型计算成本较高、且计算次数预算固定时,拉丁超立方采样尤其有用。

典型应用包括:

  • **不确定性传播:**估计不确定输入所引起的响应分布、均值及其他汇总统计量。
  • **敏感性分析:**探索输入变化如何影响模型输出。
  • **计算机实验:**为确定性仿真模型选择输入组合。
  • **代理建模:**为响应面和高斯过程模型生成训练设计。
  • **工程与环境建模:**探索结构、热学、水文及相关计算模型中的不确定参数。

对于积分,目标是准确估计期望值;对于代理建模,目标则可能是在整个定义域内进行准确预测。针对其中一种用途优化的设计,未必对另一种用途也最优。

局限性与不确定性评估

拉丁超立方采样控制的是边缘分布的覆盖,而不是完整的多维覆盖,因此无法消除维数灾难。涉及多个变量的交互作用、响应中的狭窄特征,以及需要多个输入同时取极端值才会发生的罕见事件,仍可能得不到充分采样。

离散分布也可能削弱其几何优势:不同的概率分层可能被变换为相同的实际取值。该方法仍可通过广义分位数来定义,但不同的分层标签并不保证得到不同的观测值。

普通拉丁超立方设计并不天然适合序贯扩充。任意添加点,通常会使设计在新的样本量下不再满足严格的拉丁性质。专门的嵌套式、切片式或增广构造可以解决这一问题,但往往伴随额外限制。

最后,由于同一设计内的观测值具有依赖关系,通常针对独立样本使用的标准误公式,一般不能描述拉丁超立方估计量的不确定性。一种做法是生成若干个相互独立的随机化拉丁超立方设计,并利用各设计所得均值估计之间的变异。由此构造的置信区间必须考虑独立设计的数量,以及对这些估计量的抽样分布所采用的任何近似。