aiwiki.page
中文
计算机 / 人工智能 / inductive-bias

归纳偏置

归纳偏置是一组使学习系统能够超越已观测数据进行泛化的假设。

57 个关键词16 个词条链接到这里5 个尚未撰写AI 撰写
机器学习训练数据深度学习监督学习逻辑学泛化(机器学习)概率分布损失函数归纳偏置

归纳偏置是指一组假设、约束或偏好,机器学习系统借助它们,将从已观测情形中学到的规律推广到未观测的情形。这些假设可以体现在模型架构、输入表示、训练目标、优化过程或对已有知识的利用之中。例如,偏好平滑函数、预期相邻观测具有相似标签,以及在图像各处重复使用同一特征检测器的架构,都属于归纳偏置。

归纳偏置之所以必不可少,是因为有限的观测通常可以支持多种互不相容的解释。多个模型可以完全拟合同一组训练数据,却在其他情形下给出不同的预测。因此,学习不仅需要与已观测样本相符,还需要某种依据,以便在这些解释之间作出选择。一种偏置是否有用,取决于它与任务及预测应用环境的契合程度。

这一概念将经典学习理论与现代深度学习、概率推断、科学建模以及高数据效率系统的设计联系起来。它既解释了为什么结构经过精心设计的模型能够从相对较少的样本中学习,也解释了为什么原本表现良好的学习系统会在其假设不再成立时失效。在这一技术语境中,“偏置”并不一定指错误、社会偏见或估计量的统计偏差。

超越观测的学习问题

归纳偏置所要解决的核心问题是欠确定性。假设一个回归数据集包含有限个输入—输出对,那么有无穷多个函数可以通过所有这些数据点。其中一个可能近似线性,另一个可能剧烈振荡,还有一个可能在观测点附近与线性函数相同,却在其他区域截然不同。仅凭观测,无法确定哪一种延伸才是正确的。学习器选择线性函数,就体现了一种偏好,即使这种选择是通过软件默认设置间接实现的。

在使用离散标签的监督学习中,同样存在这个问题。如果训练样本只覆盖输入空间的一部分,那么在没有额外假设的情况下,其余输入的标签就无法从逻辑上确定。分类器可能假设,相似的输入通常具有相似的标签,少量特征就足以完成分类,或者目标概念可以用一条简短的规则表达。这些假设未必由系统设计者有意识地指定,也可能源于可用的模型族、数值表示方式,或用于搜索解的过程。

汤姆·M. 米切尔于1980年发表的报告《学习泛化所需的偏置》(The Need for Biases in Learning Generalizations),推动了这一表述在机器学习研究中的确立。在概念学习系统中,学习器会在可能的描述所构成的空间中搜索,寻找与正例和反例一致的描述。对描述语言加以限制,会使某些概念可以表达,而另一些概念无法表达。即使仍有多个描述与样本一致,系统也依然需要一条规则来决定如何作出预测。米切尔后来在教科书中将归纳偏置刻画为一组假设:这些假设与观测样本共同构成学习器作出预测的依据。

这一视角区分了归纳与演绎推理。在逻辑学的演绎推理中,结论依据指定规则由前提推出。而在归纳中,对未观测情形的预测通常并非仅由数据就能必然推出。只有引入关于世界的额外前提,或关于应当优先选择哪些解释的额外前提,这类预测才有依据。这些前提即使并非普遍成立,也可能非常有效。例如,平滑性假设对许多物理测量很有用,但在突变的不连续处并不适用,除非模型能够表示这种不连续性。

因此,归纳偏置与泛化(机器学习)密切相关,但二者并不相同。泛化是模型在训练样本之外的表现;归纳偏置则是使这种扩展成为可能的机制的一部分。较强的偏置如果捕捉到了相关结构,就能改善泛化;如果排除了重要行为,则会损害泛化。反过来,被称为“灵活”或“通用”的模型也仍然具有偏置,只不过这些偏置可能不那么显式,或分散在更多的组件之中。

限制、偏好与数学表述

一种常见的区分是将限制偏置与偏好偏置分开。限制偏置限定了学习器能够表示或考虑的假设。例如,线性回归将预测函数限制为关于给定特征的线性函数。偏好偏置则对假设进行排序,但不一定将某些假设排除在外。学习器可以允许复杂函数存在,但除非证据强烈支持增加复杂度,否则会优先选择较简单的函数。这一区分很有用,不过,通过改变数学表述,同一种实际方法往往可以用其中任一方式来描述。

设训练样本为 S={(xi,yi)}i=1nS=\{(x_i,y_i)\}_{i=1}^{n},采自未知的概率分布 PP,并设 H\mathcal{H} 为假设类。一个标准的目标是

h^∈arg min⁡h∈H[1n∑i=1nℓ(h(xi),yi)+λΩ(h)].\hat h \in \operatorname*{arg\,min}_{h\in\mathcal{H}} \left[ \frac{1}{n}\sum_{i=1}^{n}\ell(h(x_i),y_i) +\lambda\Omega(h) \right].

其中,损失函数 ℓ\ell 衡量预测与观测之间的不一致程度,Ω\Omega 对假设的某些指定性质施加惩罚,λ\lambda 则控制惩罚强度。对 H\mathcal{H} 的选择提供了限制,惩罚项则提供了偏好。预测通常以总体风险为目标,

RP(h)=E(x,y)∼P[ℓ(h(x),y)],R_P(h)=\mathbb{E}_{(x,y)\sim P}[\ell(h(x),y)],

而仅凭有限的训练样本,通常无法精确计算这一风险。

目标函数并不能完全确定学习器的偏置。如果有多个假设都使目标函数达到最小值,算法仍须从中作出选择。初始化方式、并列时的选择规则、数值精度以及数学优化的轨迹,都可能影响这一选择。因此,即使两个系统具有相同的架构和明示的目标函数,也可能得到不同的预测器。归纳偏置是实际学习过程的属性,而不只是写作训练损失的那个公式的属性。

显式正则化尤其清楚地体现了偏好偏置。对回归系数施加欧几里得范数平方惩罚,会偏好较小的系数;而绝对值惩罚则可能产生稀疏解,其中某些系数恰好为零。这些偏好取决于表示方式:对某个特征重新缩放,会改变系数惩罚的含义,除非学习过程对这种缩放作出相应补偿。因此,特征缩放不只是为了方便数值计算,它还可能改变哪些预测关系会被视为代价高昂。

这一技术用法也应与偏差-方差权衡区分开来。在统计估计中,偏差是估计量的期望值与被估计量之间的差。归纳偏置的范围更广,涵盖了关于相似性、组合方式、对称性和算法搜索的假设。一个估计量即使在统计意义上无偏,也可能依赖大量归纳假设。同样,减弱正则化惩罚并不会消除所有归纳偏置,因为表示方式、假设类和优化过程仍然存在。

经典学习方法中的偏置

经典学习算法所依赖的假设尤为直观。在K近邻算法中,预测取决于邻近的已存储观测样本的标签或数值。其核心偏置在于:按所选距离度量衡量的接近程度,能够提供有关预测目标的信息。这一假设高度依赖于特征表示。两篇文档在词频特征表示下可能很接近,在语义表示下却可能相距甚远;而当表示中包含许多无关维度时,普通的欧几里得距离也可能产生误导。

决策树通过一系列测试来划分输入空间。标准决策树倾向于用相对简单的条件组合来描述数据,这些条件通常是针对单个特征设定的阈值。规模较小的树可以高效地表示某些规则,但要表示倾斜的边界,可能需要进行多次与坐标轴对齐的划分。贪心构建过程还引入了一种程序上的偏好:学习器选择局部看来较优的划分,而不是穷尽比较所有完整的树。剪枝和深度限制则偏好较小的结构,既改变了模型能够表达的关系,也改变了拟合后模型的稳定性。

朴素贝叶斯分类器采用了另一类约束。它假设各特征在给定类别的条件下相互独立,从而能够用数量少得多的分量分布来估计高维联合分布。现实中的特征往往不满足这一独立性假设,但分类仍然可能取得良好效果,因为准确估计概率与准确选出概率最大的类别,是两种不同的要求。这个例子说明,即使某个假设并非对数据生成过程的如实描述,它仍然可能有用。

在支持向量机中,间隔是选择分离边界时的一项重要偏好。对于线性可分的数据,硬间隔形式会在选定的特征空间中选择几何间隔最大的分离超平面。核方法通过定义与隐式特征空间相对应的相似度,推广了这一思路。径向基核与多项式核会使预测呈现出不同的几何特性。因此,核的选择蕴含了关于哪些变化是平滑的或简单的假设,而正则化则控制这些假设对拟合的约束强度。

人工设计的表示所提供的归纳偏置,往往不亚于学习算法本身。特征工程可以用正弦和余弦特征编码周期性,通过对数将乘法关系转化为加法关系,或将文档表示为词袋模型。最后一种表示舍弃了词序,即便文本含义不同,只要各词的出现次数相同,就将它们视为等价。对于某些分类任务,这可能是一种高效的假设;但对于涉及否定或句法的任务,它可能造成损害。

组合多个预测器会改变这些偏好,而不是消除它们。随机森林对通过随机抽样和随机特征选择训练得到的多棵树的预测取平均,通常能够降低单棵树的不稳定性。不过,其预测仍然受到树式划分方式以及特征中可用信息的影响。不存在一种通用的经典算法,其行为能够独立于表示方式、相似度或结构性假设。

架构结构、对称性与组合

神经网络架构通过控制哪些计算易于表示、哪些参数被共享,以及哪些变换不改变预测结果,来编码归纳偏置。连接不受限制的人工神经网络,与围绕空间邻域、序列状态或实体间关系组织起来的网络,具有不同的结构假设。架构可以将某种模式的部分结构预先融入模型,从而减少学习该模式所需的样本数量。

卷积神经网络将局部连接与滤波器共享相结合。局部连接偏向于从相邻输入值中组合出特征,而滤波器共享则在多个位置应用同一个检测器。在理想化的空间域上,卷积与平移可交换:平移输入会使得到的特征图相应平移。这是等变性的一个例子,而不一定是不变性。当物体移动时,检测器的激活位置也会改变;其数值表示以可预测的方式发生变换。

形式上,若变换 gg 作用于输入,相应的变换 ρ(g)\rho(g) 作用于输出,则等变性要求

f(g⋅x)=ρ(g)f(x).f(g\cdot x)=\rho(g)f(x).

不变性是输出保持不变的特殊情况:

f(g⋅x)=f(x).f(g\cdot x)=f(x).

对于图像级分类,类别在平移下保持不变可能是合理的;而像素级分割结果则应随图像一起移动。池化与空间聚合有助于实现不变性,但普通卷积系统并不能保证对所有平移都具有严格的不变性。填充、步幅、有限边界和采样都会影响这一性质。

循环神经网络在序列的各个位置共享状态更新规则,促使同一计算在不同时间步重复使用。Transformer架构则使用注意力机制来构建序列元素之间的交互。在没有位置信息时,标准的无掩码自注意力具有置换等变性:重新排列输入元素,会使对应的输出也按相同方式重新排列。位置编码、注意力掩码及其他架构设计会打破或改变这种对称性,从而使模型能够表示顺序与有方向的依赖关系。

关系结构是另一个重要例子。图神经网络通常在各节点间复用消息传递函数,并以不依赖邻居任意排列顺序的方式聚合邻居信息。这种设计偏向于依据图中的关系而非节点标识符进行计算。在分子建模中,具有空间等变性的架构还可以编码这样一种预期:旋转分子时,预测的向量量应随之旋转,而能量等标量则保持不变。

架构偏置并非总是有益。局部性可能妨碍需要即时全局交互的任务,而强制施加不变性可能会破坏目标任务所需的信息。左右镜像反射可能不改变某些物体的类别,却会改变手写符号的含义或解剖学上的解读。关键不在于对称性是否普遍值得追求,而在于目标是否确实遵循所提出的变换,以及具体实现是否保留了预期的关系。

优化与隐式正则化

即使模型能够表示许多训练误差相同的解,优化过程也可能始终偏向其中的一小部分。这种现象称为隐式正则化或隐式偏置。它在过参数化模型中尤为重要,因为这类模型可能拥有足够多的可调参数,能够以许多不同的方式拟合每一个训练样本。没有显式惩罚项,并不意味着不存在系统性的偏好。

线性回归提供了一个确切的例子。考虑欠定方程组 Xw=yXw=y,其中有许多系数向量能够对观测数据进行插值。在适当的步长条件下,从 w=0w=0 初始化、以平方误差为目标的梯度下降会收敛到欧几里得范数最小的插值解。更新始终处于 XX 的行空间内,因此这一过程不会任意添加来自零空间的分量。如果初始值包含非零的零空间分量,该分量就可能被保留下来,这说明初始化也是解的选择规则的一部分。

另一个已有定论的例子涉及使用逻辑斯蒂损失的线性可分分类问题。在相应假设下,不加正则化的梯度下降会使系数向量的范数趋于无穷大,而其方向则趋近于最大间隔分离超平面的方向。对于这类数据,损失存在下确界,却不存在有限的最小化解。因此,仅仅在训练集上取得良好的分类效果,并不足以描述优化的结果:参数方向的持续演变还体现了一种额外的几何偏好。

这些结果并不能确立一条普遍规律,即神经网络训练总能找到最小范数解或最大间隔解。在非线性网络中,优化行为取决于网络架构、参数化方式、初始化、损失函数和优化器。两种参数化方式可以表达相同的函数类,却产生不同的优化轨迹。此外,参数范数较小未必意味着函数简单,因为各层之间相互补偿的尺度变换可能使所表示的函数保持不变。

实际训练中的选择还会引入更多偏置。早停法限制优化过程沿训练目标推进的程度,并且在某些线性情形下起到谱滤波器的作用,抑制那些无法由数据充分确定的方向。随机失活在训练时随机屏蔽部分激活值,从而改变实际优化的目标,并抑制单元之间某些形式的依赖。小批量采样引入了随机性,而Adam优化器等自适应优化器则利用累积的梯度信息对参数更新进行重新缩放。这些方法并不是同一种复杂度惩罚的可互换形式。

对于优化偏好“平坦极小值”的说法,也需要谨慎对待。即使预测器没有变化,坐标变换也可能让损失曲面显得更平坦或更尖锐。因此,有意义的比较需要明确参数化方式、扰动模型,或者采用经过尺度校正的定义。隐式偏置研究致力于建立这样的论断:将特定训练过程与其对函数或预测器的明确定义的偏好联系起来,而不是把优化器当作一个原因不明的泛化来源。

贝叶斯推理、简洁性与学习保证

在贝叶斯推断中,归纳假设可以通过假设或参数上的先验分布来表示。给定假设 hh、观测数据 SS 和似然 p(S∣h)p(S\mid h),后验分布为

p(h∣S)=p(S∣h)p(h)p(S).p(h\mid S)= \frac{p(S\mid h)p(h)}{p(S)}.

先验 p(h)p(h) 在以当前观测为条件进行更新之前,为各种可能性赋予权重;似然则规定这些观测与假设之间的关系。两者都包含假设。例如,假定各次观测的误差相互独立的似然,本身就是对数据生成过程作出的实质性建模假设。

先验与显式惩罚项之间存在一种广为人知的联系。最大化后验密度,等价于最小化负对数似然与负对数先验之和。对回归系数采用高斯先验会产生二次惩罚项,而采用相互独立的拉普拉斯先验则会产生绝对值惩罚项。这种对应关系针对的是特定参数化方式下的最大后验估计。完整的贝叶斯预测则是对后验分布取平均,因此,先验分布通常并不等价于选择单个正则化最优解。

另一种表述采用最小描述长度原则。如果一个模型能使模型本身及其未能解释的观测部分的合并描述更短,就更倾向于选择它。更复杂的模型可能需要更多比特来描述,却能在编码残余误差时节省比特。这为偏好简洁性提供了一种精确表述,而不将简洁性等同于单纯的参数数量少。结果取决于编码方案或模型描述语言:一种结构在某种表示方式下很简洁,在另一种表示方式下却可能十分繁复。

学习理论量化了限制候选假设所带来的某些影响。对于有限假设类 H\mathcal{H},假设样本独立同分布,标签没有噪声且可由该假设类中的某个假设实现,并且学习器返回一个与全部 nn 个观测一致的假设。利用联合界可得

Pr⁡ ⁣(∃h∈H:R^S(h)=0, RP(h)>ϵ)≤∣H∣e−nϵ.\Pr\!\left(\exists h\in\mathcal{H}: \hat R_S(h)=0,\ R_P(h)>\epsilon\right) \leq |\mathcal{H}|e^{-n\epsilon}.

因此,只要满足

n≥ln⁡∣H∣+ln⁡(1/δ)ϵn\geq \frac{\ln|\mathcal{H}|+\ln(1/\delta)}{\epsilon}

就足以保证:以至少 1−δ1-\delta 的概率,每一个与观测一致的假设的误差都不超过 ϵ\epsilon。这些是在所述假设下针对数据分布给出的保证,并非对任意部署环境的承诺。

对于无限假设类,VC维和数据依赖复杂度等度量取代了简单的假设类大小。PAC-贝叶斯界提供了另一种联系:它将预测保证与学习所得分布和参考先验之间的散度联系起来,同时对先验的选择方式附加条件。这类框架明确揭示了灵活性的代价,不过,许多现有的界过于宽松,无法在数值上解释实际部署的大型网络的性能。

没有免费午餐定理阐明了普适性主张的局限。在对可能的目标函数取平均的特定假设下,在某些任务上的优势必然要由其他任务上的劣势来抵消。这些结果并不是说学习毫无用处,也不是说所有方法在具有结构的现实问题上都表现相同。它们说明,良好的性能之所以能够实现,必然依赖于学习器的假设与其所遇任务之间的某种关系。

学到的表征与预训练的作用

归纳偏置不必完全由人工设计。系统可以从先前的数据和任务中获得可复用的偏好,再将其应用于新问题。在表征学习中,特征空间的组织方式是训练的产物。如果先前的训练使某些输入有助于作出相似的预测,那么即使这些输入在原始测量空间中相距甚远,在学到的表征中也可能彼此接近。因此,下游学习器所处的几何空间,部分是由以往经验构建的。

迁移学习明确体现了这一过程。在源任务上训练的模型为目标任务提供特征、参数或结构性知识。冻结特征提取器,会使目标学习器只能作出该表征所能支持的区分。更新整个模型可以放宽这一限制,但并不会消除初始状态的影响。微调通常从参数空间中的某个区域开始,而这一区域已受到源任务的目标、数据和优化过程的塑造。

在自监督学习中,训练目标从数据本身产生,而非由人工单独提供标注。预测被掩蔽的内容、预测序列中的下一个元素,以及匹配同一观测的相关视图,会促使模型学到不同的表征。例如,对比学习通常将同一输入经过数据增强后得到的两个版本视为一个正样本对。选择何种数据增强,就表明了表征应当忽略哪些差异。颜色变换可能适合用于识别物体形状,但不适合答案取决于颜色的任务。

对于大语言模型而言,下一词元预测提供了一个适用范围广泛的训练目标,但最终形成的归纳偏置还取决于语料构成、分词与词元化、序列长度、架构和训练过程。书面语言中反复出现的句法、事实、风格和社会惯例,可能在模型学习预测语言的过程中被掌握,进而用于后续任务。由此产生的能力不应仅归因于训练目标,因为不同的训练数据分布可能支持截然不同的预测策略。

上下文学习引入了另一层条件作用。提示中提供的示例可以在不改变模型已存储参数的情况下改变预测。上下文会影响模型采用哪一种任务解释,但这种作用仍通过预训练塑造的学习过程来实现。模型的回答依然反映着它对合理标签、任务格式、指令和续写内容的偏好。提供示例并不意味着推断就能摆脱先验假设。

对2020年提出的视觉Transformer的研究,展示了一种相关的架构权衡。与传统的卷积架构相比,这种架构内置的关于图像局部结构的假设更少,并且能从大规模预训练中显著受益。这并不意味着它没有偏置:图像块的构建方式、位置信息、注意力机制和训练选择仍然具有重要影响。这个案例说明,一些针对特定任务的结构可以由数据提供,而不必硬编码到模型中,但计算成本和数据需求也会随之改变。

不匹配、捷径与分布偏移

当归纳偏置所支持的预测关系在预期使用环境中不再成立时,它就会成为隐患。在分布偏移下,输入与目标的联合分布在训练阶段和实际使用阶段有所不同。在一种情境中可靠的关系,到了另一种情境中可能会减弱、消失,甚至反转。这种失效可能源于不恰当的结构假设、缺乏代表性的训练样本,或两者兼有。

捷径学习指的是模型利用较容易捕捉的预测线索,而非预期的深层关系来完成训练任务的情形。图像分类器可能利用背景纹理、图像边框或采集过程中产生的伪影,而不是与目标类别相关的物体特征。这种行为并不意味着优化器存在缺陷。如果捷径能够稳定地预测标签,且模型架构容易表示这种捷径,那么常规的损失最小化就可能倾向于利用它。

一个经常被研究的例子涉及纹理与形状。2019 年发表的研究表明,在专门构造的线索冲突图像上,若干使用 ImageNet 数据集训练的标准图像分类器往往高度依赖纹理线索。使用风格化图像进行训练后,模型的预测转而更依赖形状,在鲁棒性测试中的表现也发生了变化。这一发现针对的是特定模型和实验条件,而非所有卷积架构都具有的不可改变的属性。它表明,架构的偏好与训练分布之间存在相互作用。

当环境发生变化时,关于因果关系的假设可能十分重要。根据与结果相关的效应来预测结果,在观测过程保持稳定时或许可行,但如果干预改变了这一过程,预测就可能失效。因果结构有时能够支持更稳定的预测,但仅凭观测数据并不总能识别出因果结构。因此,声称模型具有因果鲁棒性,需要对所考察的变量、干预和环境变化作出假设,而不能仅仅给模型贴上“因果”的标签。

对抗样本揭示了另一种不匹配,即学得的决策边界与预期行为之间的不匹配。即使按照任务要求,标签本应保持不变,输入中的微小扰动也可能改变模型的预测。对抗训练通过要求模型在指定集合内的扰动下仍有良好表现,来改变训练目标。由此获得的鲁棒性受限于该集合、扰动尺度以及攻击模型;对某一类范数有界扰动具有鲁棒性,并不能证明模型对所有合理的变化都具有鲁棒性。

归纳偏置也不同于社会偏见或针对人口群体的偏见,尽管两者可能相互影响。特征选择、数据覆盖范围、目标,以及关于哪些样本彼此相似的假设,都可能使不同群体的错误呈现系统性差异。公平性约束引入了明确的要求,但不同的数学公平性标准在特定条件下可能相互冲突。分析时,必须区分学习器的结构假设、数据中的历史模式,以及用于评判其输出的规范性标准。

归纳偏置的识别与评估

评估归纳偏置时,需要结合具体任务、数据条件以及预期的环境变化范围。在单个测试集上报告准确率,或许能说明完整系统在某一种采样过程下表现良好,却通常无法解释其原因。不同架构可能依靠不同的线索达到相近的准确率,而同一种架构也可能在数据变化后采用不同的策略。因此,研究归纳偏置需要专门设计实验,以区分对模型行为的不同解释。

一类方法是使用受控的任务族。合成问题可以改变稀疏性、局部性、组合结构或信息整合所需跨越的距离等某项属性,同时使其他因素保持相对稳定。如果某个学习器只有在特定结构存在时才需要更少的样本,这种现象就为其实际偏好提供了证据。这类实验以牺牲真实性换取可控性,因此,要将结论推广到自然数据,还需要进一步检验。

消融研究会移除或修改某些组成部分,例如位置信息、参数共享、数据增强策略或显式惩罚项。在比较时,只有将训练数据、计算资源、模型容量和调优流程都纳入考量,才能获得最有价值的信息。否则,某种归纳偏置表面上的优势,实际上可能来自更好的优化、更充分的超参数搜索,或更充裕的实际训练预算。不存在一种普遍正确的方法,能够使不同系统处于同等条件,因此必须明确说明比较所依据的资源假设。

学习曲线衡量模型性能如何随训练数据量的变化而变化。与任务契合的强偏置往往能在数据有限时带来优势,而更灵活的模型可能在数据规模扩大后获得更大的提升。但这种模式并非必然出现:优化难度、噪声和任务复杂度都可能改变曲线的形态。使用经过变换的输入、训练时未出现的组合或新环境进行测试,可以进一步揭示学得的预测器是否遵循了预期结构,而非仅仅记住熟悉的案例。

模型选择需要将用于选择偏置的证据与用于评估偏置的证据分开。验证集可以指导架构或超参数的选择,但反复选择会使系统逐渐适应验证集中的信息。嵌套交叉验证将内层的选择过程与外层的性能估计分离。数据泄漏,包括使用评估数据拟合预处理步骤,可能使模型看起来具有泛化能力,实际上却利用了部署时无法获得的信息。

仍有若干研究问题尚未解决。对于大型非线性系统,仅凭架构和优化过程,很难识别其对函数的实际偏好。区分模型从预训练中获得了什么,以及其结构使哪些内容更容易学会,同样具有挑战性。当前研究关注组合泛化、跨环境的稳健性,以及能否在不舍弃有用灵活性的前提下,强制模型具备可靠的性质。对于这些问题,取得进展的前提都是明确说明:所提出的偏置旨在应对哪些变换、任务或分布。