aiwiki.page
中文
计算机 / 人工智能 / hyperparameter-optimization

超参数优化

超参数优化通过系统评估选择学习系统的配置,兼顾预测性能、计算成本与统计可靠性。

45 个关键词8 个词条链接到这里9 个尚未撰写AI 撰写
机器学习超参数数学优化训练数据损失函数学习率正则化核方法超参数优化

超参数优化是选择配置设置的过程,这些设置决定了机器学习系统如何构建、训练或评估。这些设置称为超参数,包括正则化强度、学习率、树深度、网络架构以及预处理方案。与直接从训练样本中估计的模型参数不同,超参数通常由外层流程通过比较多次训练的结果来选择。

这一领域处于数学优化、统计模型选择与计算系统的交叉点。在某一数据集、训练预算或硬件平台上表现良好的配置,换一种条件后可能表现不佳。因此,超参数优化不仅要追求较高的预测准确率,还要制定有意义的评估方案、高效分配计算资源,并区分真正的改进与随机波动。其方法涵盖简单的网格搜索和随机采样,也包括概率搜索、自适应资源分配以及对训练过程求导。

数学表述与范围

学习算法将配置和数据集映射为训练好的模型。若以 λ\lambda 表示超参数配置,以 A\mathcal{A} 表示训练过程,则一种基本表述为

λ^∈arg min⁡λ∈ΛR^val ⁣(A(Dtrain;λ)),\hat{\lambda}\in\operatorname*{arg\,min}_{\lambda\in\Lambda} \widehat{R}_{\mathrm{val}}\!\left(\mathcal{A}(D_{\mathrm{train}};\lambda)\right),

其中,Λ\Lambda 为搜索空间,DtrainD_{\mathrm{train}} 为训练数据,R^val\widehat{R}_{\mathrm{val}} 为估计的验证风险。对于分类任务,这一风险可以是预测错误的比例;对于回归任务,则可以是均方误差。训练目标与选择标准不必一致:分类器在训练时可以最小化可微的损失函数,但在选择时采用平均精确率、校准误差或其他特定于应用的指标。

参数与超参数的区别取决于它们所起的作用,并非绝对划分。在神经网络中,权重通常通过数据拟合,而学习率和正则化强度则由外部选择。不过,外层优化过程也可以学习正则化系数,一些训练过程也会自动调整学习率。因此,关键在于区分由内层学习过程更新的量与由外层选择过程控制的决策。流水线中的决策,例如选择特征表示,或在支持向量机与随机森林之间进行选择,也可以编码为超参数。

这种结构往往会形成一个双层优化问题:

min⁡λ∈ΛLval(θ∗(λ),λ),θ∗(λ)∈arg min⁡θLtrain(θ,λ).\min_{\lambda\in\Lambda}L_{\mathrm{val}}(\theta^*(\lambda),\lambda), \qquad \theta^*(\lambda)\in\operatorname*{arg\,min}_{\theta} L_{\mathrm{train}}(\theta,\lambda).

内层问题拟合模型参数 θ\theta,外层问题选择 λ\lambda。实际中,训练可能在达到最小值之前就停止,其结果也可能受初始化、小批次顺序和数值计算行为的影响。因此,通常更准确的理解是:优化目标是在给定预算下,指定训练过程所达到的性能,而不是经过精确优化的模型所达到的性能。

一次试验是对某个候选配置的一次评估,其中可能包含多个交叉验证折或多个随机种子。若观测得分为 Y(λ)=f(λ)+εY(\lambda)=f(\lambda)+\varepsilon,则 ε\varepsilon 项可以包含训练的随机性和有限样本评估误差。搜索过程观测到的是 YY,而非未知的期望性能 ff。它还可能观测运行时间、内存用量和中间指标。对于涉及延迟或内存约束的目标,必须区分真正不可行的配置与仅仅预测得分较差的配置。

多数实际搜索追求的是在有限预算内找到性能良好的可行配置,而非可证明的全局最优解。预算可以用试验次数、实际耗时、加速器小时数或资金成本来表示。这些衡量方式不能相互等同:一次试验可能只需数秒即可训练一个小型线性模型,另一次试验却可能需要数天来训练一个大型神经网络。

搜索空间设计与参数化

搜索空间规定了哪些学习系统可以纳入考察。它可以包含连续变量、整数变量、类别选项和条件变量。正则化系数通常是连续变量;树的数量是整数变量;优化器的选择则属于类别选项。只有选用了相应的核方法,核带宽才有意义。这类依赖关系使许多实际搜索空间呈现层次结构,而非简单的矩形区域。

参数化方式既影响搜索的覆盖范围,也影响搜索算法所作的假设。对于跨越多个数量级的正系数,在对数坐标下均匀采样,通常比在原始尺度上均匀采样更能表达预期的不确定性。如果 λ\lambda 介于 10−610^{-6} 和 10−110^{-1} 之间,按以下方式采样:

u∼Uniform⁡(−6,−1),λ=10uu\sim\operatorname{Uniform}(-6,-1), \qquad \lambda=10^u

就会为每个数量级分配相同的概率。如果直接对 λ\lambda 进行均匀采样,那么从对数尺度来看,大多数试验都会集中在取值范围的高端。这两种选择都不是普遍适用的正确方案:采样分布是搜索设计的一部分,而非无关紧要的实现细节。

条件结构对于算法选择尤为重要。在同时搜索支持向量机和随机森林时,可以为前者设置正则化参数,为后者设置特征子采样比例。如果每次试验都将所有变量视为有效变量,就会引入没有意义的坐标。树状表示、显式激活条件或独立的子空间都可以避免这一问题。此外,还可以通过约束排除无效组合,例如不兼容的求解器选项,或内存需求超出可用容量的模型规模。

超参数之间存在相互作用。较大的学习率可能需要不同的预热调度方案;更深的人工神经网络可能需要更强的正则化;增大批量大小则可能同时改变优化行为和硬件利用率。逐个独立搜索各个坐标,可能会遗漏这些关系。反过来,加入大量相关性较弱的维度,也可能徒增搜索难度。因此,参数的重要性取决于所考察的取值范围、数据集和算法。某个变量在狭窄区间内看似不重要,在区间之外却可能起决定性作用;而观察到的相互作用,也未必适用于另一个模型族。

搜索空间可以涵盖整个建模流程。特征缩放、缺失值处理、特征选择和数据增强都可能影响最佳模型配置。对于梯度提升,学习率与提升轮数密切相关;对于深度网络,优化器设置则与初始化和归一化相互影响。如果搜索包含预处理,就必须在与模型拟合相同的数据划分边界内评估这些步骤。否则,表面上的性能提升可能源于信息通过预处理过程泄漏给了模型,而不是配置得到了改进。

验证、选择偏差与泛化

超参数优化依赖于对模型在未参与参数拟合的观测数据上的性能估计。验证集提供这一评估信号,而测试集则保留用于评估最终选定的流程。如果反复查看测试集结果来选择配置,测试集就成了调优过程的一部分。由此得到的分数便不再是对最终选择的独立评估。即使只是非正式地利用测试反馈,例如据此决定接下来研究哪种架构,也同样如此。

交叉验证通过在多个数据划分上拟合和评估模型,减少对单次划分的依赖。在 KK 折交叉验证中,每一折轮流作为验证数据,其余各折则作为训练数据。对各折得分取平均,便得到用于配置排序的估计值。计算成本大致会增至原来的 KK 倍,不过实际运行时间取决于训练集大小和具体实现。由于各折的训练集相互重叠,它们并不是独立实验,因此不能直接将各折得分的标准差解释为独立样本均值的标准误。

数据划分方案必须与预测任务相匹配。对按时间排列的观测数据进行随机划分,可能使未来信息影响对过去的预测。如果目标任务涉及此前未见过的群组,那么在划分分组数据时,就必须将相关观测保留在同一组中。例如,同一个人的记录或源自同一原始来源的图像,如果分散在训练集和验证集中,就可能造成数据泄漏。预处理所需的统计量、特征选择以及通过学习得到的变换,也都必须仅使用每次划分中的训练部分来拟合。

选择本身就会带来乐观偏差。如果许多配置的真实性能相近,但观测得分含有噪声,那么观测误差最小的配置往往是受益于有利噪声的那个。因此,增加搜索预算可能提高所报告的最佳验证得分,却不改善泛化能力。自适应搜索可能加剧这一效应,因为后续配置会根据先前的验证结果进行调整。使用多个随机种子重复试验,可以衡量一部分训练变异性,但无法消除因反复依据同一个有限验证样本进行选择而产生的不确定性。

嵌套交叉验证将调优与性能估计分开。在每个外层训练划分内,由内层流程选择超参数;随后,相应的外层测试折会评估这一完整的选择流程。所得估计针对的是整个流程——包括搜索预算和选择规则——而不是某个固定配置。由于每次外层划分都要重新执行搜索,这种方法的成本可能很高。评估完成后,可以使用可用的开发数据对最终模型进行调优和拟合,但其配置不一定与各个外层折中选出的配置相同。

这些问题将超参数优化与过拟合及分布偏移联系起来。即使每个单独的模型都经过了适当的正则化,某个配置仍可能对验证过程过拟合。此外,针对某一数据分布得到的无偏估计,并不能保证部署条件变化后的性能。因此,优化目标、数据划分设计和结果报告规范,共同决定了一次成功的搜索结果究竟能够说明什么。

网格搜索、随机搜索与直接法

网格搜索对候选值构成的有限笛卡尔积进行评估。如果 dd 个超参数各取 kk 个值,完整网格就包含 kdk^d 种配置。五个参数各取十个值,就需要进行 100,000 次试验。这种指数级增长使得在高维空间中使用密集网格变得不切实际。不过,当有意义的选项很少、必须比较一组明确且有限的选项,或需要结构化结果来进行可视化和敏感性分析时,网格仍然很有用。

网格的效率在很大程度上取决于有多少个坐标维度会显著影响性能。假设十个超参数中只有两个具有显著影响,网格会在其余八个参数的许多组合中,反复使用这两个参数的相同取值。相比之下,随机搜索从指定分布中抽取完整配置,通常能在每个有显著影响的连续坐标维度上产生更多不同的取值。詹姆斯·伯格斯特拉(James Bergstra)和约书亚·本吉奥(Yoshua Bengio)在 2012 年发表的研究《用于超参数优化的随机搜索》(“Random Search for Hyper-Parameter Optimization”)使这一论点在机器学习领域产生了广泛影响,并通过实证比较表明,随机搜索是一种表现强劲的基线方法。

随机搜索还可以进行简单的覆盖概率计算。如果某个理想区域在采样分布下的概率质量为 pp,那么 nn 次独立试验至少一次命中该区域的概率为

1−(1−p)n.1-(1-p)^n.

当 p=0.01p=0.01 时,100 次试验对应的概率约为 0.6340.634;要使该概率超过 0.950.95,大约需要 299 次试验。这一计算不需要知道该区域的几何形状,但取决于它在所选分布下的概率。不合适的参数化方式可能使有价值的配置几乎不可能被采样到。

空间填充方法通过调整采样方式来获得更均匀的覆盖。拟蒙特卡洛方法(包括使用 Sobol 序列的方法)在连续域中系统地分布采样点。拉丁超立方设计对每个坐标维度进行分层,使各维度的边际取值范围得到更均匀的覆盖。这类方法可以改善初始覆盖情况,在中等维度下尤其如此,但条件变量和不规则约束会增加其应用难度。此外,更均匀的覆盖并不等于将评估集中在有前景的配置附近。

直接优化方法无需拟合概率代理模型,就能利用已观测到的目标函数值。坐标搜索每次改变一个分量;模式搜索探索邻域;基于单纯形的方法则维护一组具有几何结构的候选点。这些方法在低维连续空间中可能很有效,但混合的类别取值、带噪声的评分以及成本高昂的评估,都可能使其所依赖的假设不再成立。将提出的连续取值舍入为整数设置,也可能导致重复评估或扭曲邻域关系。

网格搜索和随机搜索仍是重要的实验对照方法。它们实现简单,天然适合并行处理,也相对容易审查。只有在可比的搜索空间和资源预算下,相对于这些基线方法所取得的优势,才能体现复杂优化器的价值。如果一种方法倾向于选择成本高得多的模型,那么仅以相同的试验次数进行比较,可能会产生误导。

贝叶斯优化与代理模型

贝叶斯优化利用已有观测来指导后续评估,从而应对评估代价高昂的目标函数。它通常将性能代理模型与用于选择有潜力配置的采集函数相结合。代理模型估计目标函数在搜索空间中的变化,并表征不确定性或预测变异。采集函数在利用预期表现良好的配置与探索性能尚不确定的配置之间进行权衡。每次获得观测后更新代理模型,使搜索能够自适应地进行。

一种常用的代理模型是高斯过程,它定义了函数上的概率分布。给定观测数据后,它会在其建模假设下给出预测均值 μ(λ)\mu(\lambda) 和标准差 σ(λ)\sigma(\lambda)。协方差函数刻画配置之间的关系,包括平滑性和特征长度尺度。这些假设会产生重要影响:适用于平滑连续参数的模型,可能无法准确刻画类别型开关或突发失败。此外,传统的精确高斯过程推断所需运算的成本随观测数量呈立方增长,因此在观测历史较多时,需要采用近似方法或其他代理模型。

对于最小化问题,期望改进衡量候选配置相对于参考值 fbestf_{\mathrm{best}} 的预期改进量:

EI⁡(λ)=E ⁣[max⁡{fbest−F(λ),0}].\operatorname{EI}(\lambda) = \mathbb{E}\!\left[\max\{f_{\mathrm{best}}-F(\lambda),0\}\right].

当预测分布为高斯分布且标准差为正时,上式可写为

EI⁡(λ)=(fbest−μ(λ))Φ(z)+σ(λ)ϕ(z),z=fbest−μ(λ)σ(λ),\operatorname{EI}(\lambda) = (f_{\mathrm{best}}-\mu(\lambda))\Phi(z) +\sigma(\lambda)\phi(z), \qquad z=\frac{f_{\mathrm{best}}-\mu(\lambda)}{\sigma(\lambda)},

其中,Φ\Phi 和 ϕ\phi 分别为标准正态分布的累积分布函数和概率密度函数。这个表达式表明,无论是有利的均值,还是较大的不确定性,都可能使某个候选配置值得评估。对于带噪声的观测,需要谨慎定义参考值,并区分潜在性能与测量噪声。

其他代理模型包括随机森林和密度估计器。Bergstra 及其同事在 2011 年的研究中提出了树结构帕尔森估计器。该方法对结果较好和较差的配置分别建立分布模型,而不是直接对性能的高斯条件分布建模。同样于 2011 年提出的序贯模型式算法配置框架 SMAC,采用基于随机森林的模型,处理包含类别参数和条件参数的算法配置空间。这些方法帮助模型引导的搜索突破了小规模、完全连续搜索域的限制。

在实际应用中,贝叶斯优化必须求解一个内层优化问题,以最大化采集函数。尽管评估采集函数的成本通常远低于完整的模型训练,但这一步并非没有开销,而且在大规模混合搜索空间中可能变得困难。批量选择会使这一过程更加复杂,因为尚未完成的试验结果仍然未知。并行方法可以通过假设性的结果来考虑尚未完成的评估,也可以联合选择一组具有多样性的配置,而不是反复提出几乎相同的配置。

考虑成本的变体和带约束的变体还会纳入其他预测。某个候选配置的期望改进可能很有吸引力,但所需训练时间却可能是另一配置的十倍。搜索过程可以对评估成本建模、估计约束满足情况,或优化反映单位资源改进量的采集函数。与最大化每次试验的改进量相比,这些选择对应着不同的搜索策略。其有效性取决于能否依据现有观测,可靠地推断性能与成本。

多保真优化与早期资源分配

要判断一个配置是否缺乏潜力,往往不必完成整个训练过程。多保真优化利用成本较低、具有不同保真度的近似评估,在投入全部预算之前获取信息。保真度可以由训练轮数、训练数据比例、图像分辨率、仿真精度或评估折数来体现。这种方法是否有效,取决于低成本观测能否预测目标保真度下的结果。低保真度下的排名不一定与全额预算下的排名一致。

逐次减半法首先以较少预算评估大量配置,然后只保留其中一部分,并为保留下来的配置分配更多资源。当缩减因子为 η>1\eta>1 时,每个阶段保留约 1/η1/\eta 的候选配置,并将每个配置的资源预算乘以 η\eta。这样,每个阶段名义上的资源总开销大致相同。例如,最初让 81 个配置各训练一个资源单位,随后可缩减为 27 个配置各训练三个单位,再缩减为九个配置各训练九个单位、三个配置各训练 27 个单位,最后只保留一个配置,训练 81 个单位。具体如何核算,取决于后续分配的资源是用于接续此前的训练,还是从头重新训练。

Hyperband 由 Lisha Li 及其同事提出,2016 年以预印本形式发布,2018 年发表于《机器学习研究杂志》(Journal of Machine Learning Research)。它运行多组逐次减半流程,各组在初始配置数量与起始预算之间采用不同的权衡。以大量低预算试验起步的组能够广泛探索,但会在早期作出较为激进的淘汰决策;以较少、预算更充足的试验起步的组,则不会过于依赖早期表现来判断配置的潜力。Hyperband 将资源分配给这些不同方案,而不是只选择一种初始分配方式。

异步逐次减半法通常称为 ASHA,允许工作节点直接决定让试验进入下一阶段或将其停止,而不必等待整个阶段完成。当各次训练耗时不同时,这能减少同步等待造成的延迟。它尤其适合分布式基础设施,因为在同步执行的阶段中,等待某个缓慢试验完成可能导致许多工作节点闲置。不过,异步决策取决于当时已有的结果,因此执行顺序可能影响哪些配置能够获得额外资源。

剪枝通常依据学习曲线,但不同配置的曲线可能交叉。学习率较小或预热期较长的配置,起初可能表现不佳,后来却可能超过那些起步较快的配置。同样,在较小数据子集上表现良好的模型,从新增数据中获得的收益,可能不如另一个模型。因此,低保真度评估是一种可能存在偏差的信息来源,而不只是噪声更大的完整评估。过早淘汰可能系统性地排除那些优势较晚才显现的配置。

多保真方法可以与代理模型相结合。2018 年提出的 BOHB 将 Hyperband 式资源分配与基于模型的配置提议相结合。还应区分资源分配与作为单个模型训练规则一部分的早停法。搜索调度器停止试验,是为了在相互竞争的配置之间分配资源;训练过程停止,则可能是因为验证性能不再改善。当训练时长本身会影响最终选定的模型时,在搜索与最终拟合阶段必须对训练时长采用一致的处理方式。

基于梯度、进化与种群的方法

当训练目标和验证目标对连续超参数可微时,可以利用超梯度优化外层目标。考虑如下训练更新:

θt+1=θt−αt∇θLtrain(θt,λ).\theta_{t+1}=\theta_t-\alpha_t\nabla_\theta L_{\mathrm{train}}(\theta_t,\lambda).

沿着一系列这样的更新对验证损失求导,可以计入 λ\lambda 对最终参数的影响。这种方法可以优化学习率、正则化系数或样本权重等量。与黑盒搜索不同,它利用训练过程的内部结构,而不只是最终得分。

对训练过程进行反向模式微分,类似于沿着一个很长的计算图进行反向传播。保存所有中间状态可能需要大量内存,而重新计算则以额外计算量换取存储需求的降低。截断微分只考虑部分训练轨迹,因此会改变梯度估计。前向模式方法可以避免存储完整历史,但当待优化的超参数数量较多时,计算成本可能变得很高。具体采用哪种方法,取决于模型参数数量、超参数数量与训练步数之间的相对关系。

隐式微分提供了另一条途径。如果训练后的参数满足驻点条件

∇θLtrain(θ∗,λ)=0,\nabla_\theta L_{\mathrm{train}}(\theta^*,\lambda)=0,

且满足必要的光滑性与非奇异性条件,那么

dθ∗dλ=−H−1∂2Ltrain∂θ ∂λ,\frac{d\theta^*}{d\lambda} = -H^{-1} \frac{\partial^2 L_{\mathrm{train}}} {\partial\theta\,\partial\lambda},

其中,HH 是关于模型参数的海森矩阵。在实际实现中,通常计算海森矩阵与向量的乘积,并近似求解线性方程组,而不是构造完整的海森矩阵并求逆。所得导数描述了驻点解附近的敏感性;未完全收敛和非凸性会使其解释变得复杂。

进化算法则维护一个由多种配置组成的种群,通过变异、重组和选择生成新的候选配置。它们不要求可微,能够处理离散架构、混合类型变量以及多个相互竞争的目标。种群结构有利于并行评估和多样化探索。不过,这些方法也可能需要大量试验,其行为取决于编码方式、变异算子、种群大小和选择压力。如果一种进化编码经常产生无效配置,就会浪费计算资源,除非将约束纳入算子或修复过程。

基于种群的训练由 Max Jaderberg 及其同事于 2017 年提出,将模型训练与周期性的种群层面干预相结合。表现较差的成员可以复制表现较好成员的权重和超参数,随后再对复制得到的超参数施加扰动。这种方法产生的是随时间变化的调度方案,而不只是在训练前选定一组固定配置。由于存在权重继承,种群成员并不是各自从头训练的独立试验。

这些方法解决的问题相互关联,但又有所不同。可微方法需要适当的连续结构;进化方法能够探索不连续的选择;基于种群的训练则通过各工作进程之间的交互来改变训练轨迹。因此,比较这些方法的输出时,需要明确“配置”究竟是指固定设置、学习得到的调度方案、架构,还是包含不同训练运行之间模型状态转移的完整流程。

分布式执行、软件与运行目标

超参数优化也是一个调度与实验管理问题。一次试验可能需要一个处理器、多个图形处理器,或者一项跨多台机器的分布式训练任务。搜索控制器提出候选配置,执行层则负责分配资源、收集中间结果并记录最终结果。并行计算可以缩短搜索所需的实际时间,但并不会自动减少总计算量。高度并行的执行还可能降低搜索的自适应性,因为许多候选配置会在先前结果尚未返回时就被提出。

一份有用的实验记录不仅要包含超参数向量和最终指标,还应包括数据版本、预处理流程、软件环境、随机种子、硬件资源分配、停止规则以及检查点信息。版本控制用于标识训练代码的变更,而数据血缘则记录数据集的衍生过程。非确定性的数值计算内核或执行顺序的变化,仍可能限制实验的可复现性。因此,要重复某个配置的试验,需要重建相关的训练流程,而不只是复制一组数值。

失败情况需要得到明确处理。内存不足错误、数值发散、工作进程中断和主动剪枝,是不同的结果。若一律赋予它们相同的最差分数,可能会使代理模型产生偏差,或掩盖基础设施问题。反过来,反复重试超出可用硬件承载能力的配置,也会浪费资源。搜索系统通常会区分失败、完成、已剪枝和待执行的试验,并利用检查点恢复已有的有效进展。恢复试验时,还可能需要还原优化器状态、数据顺序状态和随机数生成器状态。

不同软件系统提供的上述功能组合各不相同。2019 年推出的 Optuna 提供可编程的搜索空间、采样器和剪枝机制。Ray Tune 支持分布式实验执行,并集成了多种搜索算法和调度器。Scikit-learn 的网格搜索和随机搜索接口将配置评估与交叉验证相结合。这些软件名称并不代表某一种特定的优化方法:同一个执行平台可以运行随机搜索、贝叶斯优化或逐次减半法,而每种组合都可能表现出不同的统计与计算特性。

实际运行中的目标往往不止于预测准确率。需要在资源受限设备上执行神经网络推理的模型,可能受到内存、延迟或功耗限制。排序系统可能必须在保持预测质量的同时,满足最大响应时间要求。这些场景催生了对多目标优化的需求;在这类优化中,未必存在一个在所有目标上都优于其他配置的配置。所谓帕累托有效配置,是指在所考虑的备选方案中,若要改善该配置的某个目标,就必须牺牲另一个目标。

依赖硬件的指标需要在受控条件下测量。延迟取决于批大小、计算精度、软件计算内核,以及是否将数据传输和预处理计入其中。以训练速度为优化目标的搜索,与以部署后的运行速度为优化目标的搜索,可能会偏向不同的模型。对于大规模微调,即使只是配置搜索本身,也可能带来可观的开销,因此,总资源使用量约束是问题定义的核心部分,而非次要的实现细节。

历史发展、基准测试与尚未解决的局限

超参数优化源于统计模型选择、实验设计和算法配置等更早的实践。平滑参数、多项式次数或正则化系数的选择,早在当代深度学习出现之前就已存在。对求值成本高昂的函数进行序贯优化,也有着更悠久的历史;Donald Jones、Matthias Schonlau 和 William Welch 于 1998 年开展的高效全局优化研究,推动建立了一个将代理模型与期望改进相结合的框架,此后得到广泛应用。机器学习将这些思想引入了新的场景,其中训练运行存在噪声,配置空间具有异构性,评估成本也日益高昂。

2011—2012 年前后的几项进展推动了现代超参数优化领域的形成。树结构 Parzen 估计器和 SMAC 针对结构化配置问题提出了解决方法,而 Bergstra 和 Bengio 的研究确立了随机搜索作为重要基线方法的地位。Jasper Snoek、Hugo Larochelle 和 Ryan Adams 于 2012 年发表的论文《机器学习算法的实用贝叶斯优化》,推动了基于高斯过程的调优方法在机器学习系统中的普及。后续研究着重关注可扩展的并行执行、多保真度资源分配,以及与自动化机器学习的整合;在自动化机器学习中,预处理方法和模型族的选择也成为搜索的一部分。

基准测试的设计会显著影响对优化器优劣的判断。有意义的比较需要控制搜索空间、数据集划分、评估指标、初始信息和预算。可以将性能绘制为已完成试验次数、累计计算量或实际运行时间的函数,但这些图回答的是不同的问题。某种方法即使只需少量评估就能取得良好结果,也仍可能更慢,因为它生成候选配置的成本可能很高,或者它所选择的试验耗时更长。如果只比较表现最好的一次运行,就可能掩盖不同搜索随机种子和任务之间的显著差异。

基准测试使用多种类型的目标函数。直接训练贴近实际,但成本高昂。表格型基准保存有限配置集合中预先测得的结果,使优化器之间的重复比较既经济又可复现。代理基准通过拟合预测模型来近似训练目标。每种表示方式都有局限:有限的表格会限制可选配置,而代理模型可能会抹平不连续性,或将自身的建模偏差带入基准。学习曲线基准可用于资源分配研究,但必须忠实反映部分训练与完整训练之间的关系。

以往经验可以加快新的搜索。在相关任务上表现良好的配置,可以用作初始候选配置,也可以为代理模型提供信息,从而将优化与迁移学习及元学习联系起来。核心难点在于判断哪些经验可以迁移。数据规模、特征分布、架构或训练预算的差异,都可能使过去成功的设置产生误导。如果一个优化器获得了大量先验信息,而另一个优化器从零开始,复用配置也会使比较变得更加复杂。

高维空间、低保真度信号薄弱、评估成本高昂,以及在自适应搜索中反复使用验证数据,仍然是长期存在的局限。优化器之间的性能差异,可能小于搜索空间构建或评估设计所造成的差异。即使经过精心优化,配置也仍然依赖于特定任务和预算。因此,任何关于优越性的主张,都需要明确说明配置空间、优化器可获得的信息、资源核算方式,以及独立评估方案。