aiwiki.page
中文
计算机 / 人工智能 / conditional-random-field

条件随机场

条件随机场是一种概率模型,通过定义给定观测输入时输出的联合分布,预测相互依赖的输出。

33 个关键词7 个词条链接到这里5 个尚未撰写AI 撰写
概率分布机器学习自然语言处理计算机视觉随机变量配分函数马尔可夫随机场因子图条件随机场

条件随机场(CRF)是一种根据观测输入预测一组相关输出的概率模型。它并非对每个输出独立分类,而是为完整的输出配置赋予条件概率分布。例如,模型可以在考虑相邻标签之间依赖关系的同时,为句子中的每个词标注标签;也可以为图像中的像素分配类别,同时倾向于使其空间排列保持协调一致。条件随机场属于机器学习领域,尤其与结构化预测密切相关;在结构化预测中,预测结果是序列、分割、图或其他复合对象。

条件随机场由约翰·拉弗蒂、安德鲁·麦卡勒姆和费尔南多·佩雷拉于 2001 年提出,将无向概率模型的依赖结构与条件式(即判别式)学习相结合。在自然语言处理、计算机视觉以及其他需要结合更大范围的结构对局部观测作出一致解释的领域,条件随机场发挥了重要作用。其核心特征是条件建模、沿输出图进行因子分解,以及对所有完整配置进行归一化。无论模型使用人工设计的特征,还是神经网络生成的评分,这些特征都适用。

条件建模与图结构

条件随机场描述的是 pθ(y∣x)p_\theta(\mathbf{y}\mid\mathbf{x}),其中 x\mathbf{x} 是观测到的输入,y\mathbf{y} 是一组输出随机变量,θ\theta 表示模型参数。输入可以是一个句子、一幅图像或一串传感器读数;输出则可以包含语言学标记、区域类别或活动标签。与描述联合分布 p(x,y)p(\mathbf{x},\mathbf{y}) 的模型不同,条件随机场无须说明观测数据本身是如何生成的。它的概率模型关注的是给定观测下各种可能的输出。

形式上,设 G=(V,E)G=(V,E) 为一个无向图,其顶点与输出变量一一对应。在给定 x\mathbf{x} 的条件下,输出满足该图所对应的马尔可夫性质:给定某个变量的邻居变量后,该变量与所有非邻居输出变量条件独立。对于严格为正的分布,这一性质允许将分布按图中的团进行因子分解:

pθ(y∣x)=1Zθ(x)∏c∈Cψθ,c(yc,x),p_\theta(\mathbf{y}\mid\mathbf{x}) = \frac{1}{Z_\theta(\mathbf{x})} \prod_{c\in\mathcal C} \psi_{\theta,c}(\mathbf{y}_c,\mathbf{x}),

其中,C\mathcal C 是一组团,ψθ,c\psi_{\theta,c} 是取正值的势函数,Zθ(x)Z_\theta(\mathbf{x}) 用于将分布归一化。团是由两两相连的顶点构成的集合。输出图表达的是标签之间的条件独立关系,并不意味着每个势函数只能考察输入的一小部分。

对于离散输出空间 Y(x)\mathcal Y(\mathbf{x}),称为配分函数的归一化量为

Zθ(x)=∑y′∈Y(x)∏c∈Cψθ,c(yc′,x),Z_\theta(\mathbf{x}) = \sum_{\mathbf{y}'\in\mathcal Y(\mathbf{x})} \prod_{c\in\mathcal C} \psi_{\theta,c}(\mathbf{y}'_c,\mathbf{x}),

它使所有合法输出配置的概率之和等于一。各个势函数是相容性函数,而不是归一化的概率:某个局部赋值对应的势函数值越大,表示在当前观测输入下,该赋值越受模型偏好。

因此,条件随机场是马尔可夫随机场的条件形式。它也可以表示为因子图,在图中明确区分变量与对变量组进行评分的函数。当因子连接两个以上的输出变量时,这种表示尤其有用。无向边并不意味着因果关系,图结构也不必与某个物理网络相符。它的作用是明确模型直接表示哪些输出间的相互作用,并由此决定哪些计算方法可用于学习和预测。

对数线性势函数与特征设计

经典的条件随机场使用对数线性势函数。如果 F(x,y)\mathbf{F}(\mathbf{x},\mathbf{y}) 是同时描述输入与输出的特征向量,那么其分布可以写为

pθ(y∣x)=exp⁡ ⁣(θ⊤F(x,y))Zθ(x).p_\theta(\mathbf{y}\mid\mathbf{x}) = \frac{ \exp\!\left(\theta^\top\mathbf{F}(\mathbf{x},\mathbf{y})\right) }{ Z_\theta(\mathbf{x}) }.

全局特征向量通常可以分解为各局部项之和,即 F=∑cfc\mathbf{F}=\sum_c\mathbf{f}_c。每个参数为某一类相容关系赋予权重。正权重会提高具有相应特征的配置的得分,负权重则会降低其得分。指数变换将取值不受限制的实数得分转化为正值势函数。

在语言序列标注中,一个特征可以将观测信息与候选标签结合起来:例如,当前词元是否以大写字母开头,且被赋予人名标签。另一个特征可以表示前一个标签是组织名称的起始标签,而当前标签表示该组织名称的延续。观测特征可以考察后缀、相邻词语、标点符号、在文档中的位置,或特定领域的词汇表。由于模型以输入为条件,即使观测信息彼此重叠,也不需要假设这些观测相互独立。

这种灵活性使特征工程成为早期条件随机场系统的核心。同一个词元可以同时激活词语身份特征、字符模式特征以及词典收录特征。这类特征往往形成维度极高但十分稀疏的向量:对于特定位置及其标签赋值,只有一小部分特征处于激活状态。特征模板为这些特征族提供了简洁的描述方式。例如,一个模板可以为当前词语与候选标签的每一种组合分别设置一个参数。

必须区分对观测信息的依赖与未知标签之间的依赖。涉及 yty_t 和 yt−1y_{t-1} 的因子可以考察整个输入句子,而不会使输出图的连接变得更加稠密。相比之下,引入一个涉及 yty_t 和 yt+10y_{t+10} 的因子会改变图结构,并可能显著增加推断成本。因此,丰富的输入上下文并不等同于高阶输出模型。

同样的数学形式也支持从能量模型的角度来理解条件随机场。定义 Eθ(x,y)=−θ⊤F(x,y)E_\theta(\mathbf{x},\mathbf{y})=-\theta^\top\mathbf{F}(\mathbf{x},\mathbf{y}),则概率与 exp⁡(−Eθ)\exp(-E_\theta) 成正比。能量越低,相容程度越高。更一般的条件随机场用非线性参数化函数替代线性得分函数。其概率定义并不要求使用人工设计的特征,但经典条件随机场的一些重要优化保证,恰恰依赖于得分是所学习参数的线性函数这一性质。

线性链条件随机场与序列标注

最广为人知的条件随机场采用线性链结构的输出图。对于输入序列 x=(x1,…,xT)\mathbf{x}=(x_1,\ldots,x_T),它预测标签序列 y=(y1,…,yT)\mathbf{y}=(y_1,\ldots,y_T),其中相邻标签之间存在直接相互作用。一种常见的评分形式为

Sθ(x,y)=∑t=1Tuθ(t,yt,x)+∑t=2Taθ(t,yt−1,yt,x),S_\theta(\mathbf{x},\mathbf{y}) = \sum_{t=1}^{T}u_\theta(t,y_t,\mathbf{x}) + \sum_{t=2}^{T}a_\theta(t,y_{t-1},y_t,\mathbf{x}),

其中,uθu_\theta 是一元得分,aθa_\theta 是转移得分。起始得分和结束得分可以单独加入。条件概率为 exp⁡(Sθ)/Zθ(x)\exp(S_\theta)/Z_\theta(\mathbf{x})。在许多实现中,转移得分是一个通过学习得到、与输入无关的矩阵中的元素;更一般的定义则允许转移得分依赖于输入。

当相邻决策相互制约时,链式条件随机场就能发挥作用。在命名实体识别中,标签常采用“起始—内部—外部”标注方案,通常缩写为 BIO。例如,短语“New York”可以依次标为 B-LOC 和 I-LOC,而不属于实体的词则标为 O。独立预测各个标签的模型可能会在一个不兼容的人名标签之后输出 I-LOC 标签。条件随机场可以惩罚此类转移,也可以通过固定的合法性约束将其排除。这样,模型会联合选择标签,而不是事后修正彼此独立的预测。

以句子“Jordan joined Acme.”为例。在不同语境下,第一个词可能指人,也可能指地点。一元得分可以综合考虑词本身、首字母大写情况以及周围的动词;转移得分则可以使实体边界保持一致。条件随机场并不是简单地用常见标签序列替代不确定的决策。它会在整个句子的范围内,权衡依赖观测的证据与标签之间的相互作用。除非某种转移已被禁止,否则强有力的输入证据可以压过模型通常对另一种转移的偏好。

“一阶”指的是仅直接依赖前一个标签,而不是指可观测上下文的范围。一阶条件随机场可以使用融合句中每个词信息的上下文表示。二阶链则包含涉及三个连续标签的因子。这种模型能够区分成对转移无法直接表达的模式,但其标准动态规划算法的计算复杂度为 O(TK3)O(TK^3),而非 O(TK2)O(TK^2),其中 KK 是标签数量。

序列不一定由词构成。同样的结构也可以为字符标注分词标签,为声学帧标注声音类别,或为时间窗口标注活动类别。链式结构是否合适,取决于对输出之间依赖结构的假设。如果任务需要表示嵌套片段、分支结构,或大量非局部的标签交互,那么即使输入编码器具有很强的表达能力,简单的线性链也可能不足以表示这些关系。

精确推断与解码

条件随机场需要进行几种不同的计算。配分函数计算将所有可能输出的得分取指数后求和。边缘推断计算单个标签或标签组的概率。最大后验解码则找出概率最高的完整输出:

y^=arg⁡max⁡ypθ(y∣x)=arg⁡max⁡ySθ(x,y).\hat{\mathbf{y}} = \arg\max_{\mathbf{y}} p_\theta(\mathbf{y}\mid\mathbf{x}) = \arg\max_{\mathbf{y}} S_\theta(\mathbf{x},\mathbf{y}).

由于对于固定输入,配分函数是常数,因此在最后一个最优化问题中可以消去。这意味着,能够找出最优配置的算法,不一定也能高效计算该配置的归一化概率。

对于线性链,动态规划可以避免显式枚举 KTK^T 个标签序列。设 αt(j)\alpha_t(j) 为所有在位置 tt 以标签 jj 结尾的前缀的未归一化权重之和。给定一元得分 ut(j)u_t(j) 和转移得分 at(i,j)a_t(i,j),前向递推式为

αt(j)=exp⁡(ut(j))∑i=1Kαt−1(i)exp⁡(at(i,j)).\alpha_t(j) = \exp(u_t(j)) \sum_{i=1}^{K} \alpha_{t-1}(i)\exp(a_t(i,j)).

用适当的起始条件初始化递推,再对最终的前向值求和,并计入可能存在的终止得分,即可得到 Zθ(x)Z_\theta(\mathbf{x})。后向递推则给出与之互补的后缀值。将两者结合,便可得到单个位置和相邻位置标签对的边缘概率;这就是前向—后向算法。

在浮点运算中,直接对指数值进行乘法和加法运算可能导致下溢或上溢。因此,实际实现通常在对数空间中运算,并使用对数和指数恒等式:

LSE⁡(z1,…,zn)=m+log⁡∑iexp⁡(zi−m),m=max⁡izi.\operatorname{LSE}(z_1,\ldots,z_n) = m+\log\sum_i\exp(z_i-m), \qquad m=\max_i z_i.

在最优序列解码中,维特比算法将前向递推中的求和替换为取最大值,并保存回溯指针。从最优的最终状态沿这些指针回溯,即可重建最优序列。

对于稠密转移,前向—后向算法和维特比算法的时间复杂度均为 O(TK2)O(TK^2)。如果只计算配分函数,除已存储的得分外,只需 O(K)O(K) 的工作内存;而常规的基于回溯指针的解码则需要 O(TK)O(TK) 的内存。稀疏转移结构可以减少所需的运算量。树结构条件随机场也可以进行精确的消息传递,但其计算开销取决于标签集合的大小和因子的规模。一般图上的计算复杂度在很大程度上取决于图结构,尤其是树宽。

边缘解码和最优序列解码回答的是不同的问题。在不受约束的汉明损失下,在每个位置分别选择概率最高的标签,可以使预期的逐词元错误最小。维特比算法寻找的则是概率最高的完整序列。根据边缘概率逐一选出的标签,未必构成概率最高的序列,还可能违反结构约束。这一区别在衡量不确定性时同样重要:整个序列的概率与单个词元的边缘置信度不能混为一谈。

参数估计与优化

标准的学习方法是利用带标注的样本 (x(n),y(n))(\mathbf{x}^{(n)},\mathbf{y}^{(n)}) 进行最大条件似然估计。对于对数线性条件随机场,正则化负对数似然为

L(θ)=∑n=1N[log⁡Zθ(x(n))−θ⊤F(x(n),y(n))]+λ2∥θ∥22.\mathcal L(\theta) = \sum_{n=1}^{N} \left[ \log Z_\theta(\mathbf{x}^{(n)}) - \theta^\top \mathbf{F}(\mathbf{x}^{(n)},\mathbf{y}^{(n)}) \right] + \frac{\lambda}{2}\|\theta\|_2^2.

这一损失函数鼓励模型为观测到的配置赋予更高的分数,同时通过配分函数将所有竞争配置纳入考量。最后一项是 L2L_2 正则化,用于惩罚过大的参数值。

梯度的结构揭示了学习过程的含义:

∇θL=∑n[Epθ(Y∣x(n))F(x(n),Y)−F(x(n),y(n))]+λθ.\nabla_\theta\mathcal L = \sum_n \left[ \mathbb E_{p_\theta(\mathbf{Y}\mid\mathbf{x}^{(n)})} \mathbf{F}(\mathbf{x}^{(n)},\mathbf{Y}) - \mathbf{F}(\mathbf{x}^{(n)},\mathbf{y}^{(n)}) \right] + \lambda\theta.

学习过程将模型下的期望特征计数与标注中观测到的特征计数进行比较。如果某个特征在数据中出现的频率高于模型的预期,似然梯度就会推动其权重增大。对于局部特征,可以利用局部边缘分布计算期望,而不必显式枚举完整输出。因此,链式结构上的精确推断不仅在预测时有用,在每一次训练迭代中也同样有用。

在特征固定、分数关于 θ\theta 为线性函数且归一化精确计算的情况下,负对数似然是凸函数。其海森矩阵包含特征协方差项,且为半正定矩阵;系数为正的 L2L_2 惩罚项使目标函数关于无约束参数向量具有强凸性。因此,经典条件随机场的学习不会面临一般神经网络训练中那样的局部极小值问题。不过,计算仍可能相当困难,因为每次计算目标函数值或梯度,都需要对训练样本进行推断。有限内存拟牛顿法,尤其是 L-BFGS,已广泛用于这类优化问题。

其他目标函数和惩罚项会改变优化问题。L1L_1 惩罚项有助于得到稀疏参数,但会引入不可微性。在线方法和随机方法每次处理单个样本或小批量样本,而不是反复在整个数据集上进行计算。当条件随机场的分数由神经网络生成时,梯度会通过归一化计算,并利用反向传播传入编码器。联合目标函数通常是非凸的,尽管在输入固定的情况下,单独考察条件随机场层时,其形式仍与经典情形相同。

训练数据也可能不完整。如果只能观测到部分标签,这些标签的条件似然就需要对所有与之相容的补全结果求和。由此得到的损失是两个对数配分函数之差,不一定仍具有经典情形下的凸性。隐变量条件随机场也类似,需要对隐藏结构求和。这些模型必须明确区分真正观测到的标签、缺失的标签,以及仅为建模而引入的结构;它们也会改变训练过程中需要求解的推断问题。

与其他概率模型和判别模型的关系

条件随机场(CRF)常被拿来与隐马尔可夫模型(HMM)比较,后者对观测与隐藏状态的联合分布建模。传统 HMM 将联合分布分解为状态转移概率和观测发射概率,通常假设每个观测仅依赖于其对应的隐藏状态。相比之下,CRF 以完整的观测为条件,仅对标签建模。因此,它可以使用相互关联、彼此重叠的输入特征,而无须为这些特征指定归一化的概率模型。这体现的是建模时所作假设与承担任务的不同,并不意味着预测性能一定更好。

以固定观测序列为条件的线性链 HMM 会导出一个状态序列上的分布,该分布可以用链式 CRF 表示。其转移概率和发射概率成为条件模型中的因子。反过来的对应关系则没有这么直接:一般的 CRF 评分未必能对应到具有局部发射机制的传统 HMM。生成式建模还可以服务于 CRF 范围之外的目标,例如为输入赋予似然值或生成观测。条件建模放弃了这些目标,将模型容量集中用于根据观测预测输出。

另一个重要的比较对象是最大熵马尔可夫模型(MEMM)。MEMM 的一种常见分解形式为

p(y∣x)=∏tp(yt∣yt−1,x).p(\mathbf{y}\mid\mathbf{x}) = \prod_t p(y_t\mid y_{t-1},\mathbf{x}).

每个局部条件分布都在可能的下一标签上单独归一化,而链式 CRF 则在所有完整序列上统一归一化。这一区别也是提出 CRF 的部分动机,即应对标签偏置问题:局部归一化可能使出边选择较少的状态无法充分响应那些能够区分完整路径的证据。如果一个状态只有一条合法的出边,那么无论观测证据如何,它都必须将这条转移的条件概率设为一。

全局归一化允许根据各条竞争路径的完整评分进行比较,而不是依赖分别归一化的转移决策的乘积。它并不能消除所有偏差来源,也不能保证所选的图足以表示任务。它的优势是明确而有限的:在完整结构的层面协调概率分配。无论采用局部归一化还是全局归一化,模型仍然依赖于其特征、参数估计、标注规范以及可用的训练样本。

逻辑回归是一个有助于理解的特例。对于单个类别型输出,采用对数线性评分便得到多项逻辑回归;对于多个输出,若它们之间不存在相互作用,则得到多个独立分类器的乘积。加入涉及输出之间关系的因子,就能将这种独立模型变为结构化模型。CRF 也与结构化支持向量机有关:两者可以采用相似的评分方式和解码算法,但后者以基于间隔的目标进行训练,而不是以条件似然为目标。结构化间隔模型不必定义归一化概率。因此,即使多种方法采用相同的最优结构搜索方式,图结构、评分函数、训练准则和解码过程仍然是可以分别作出的设计选择。

超越链式结构:更丰富的结构与近似推断

条件随机场的定义并不限于序列。成对模型可以为网格、树或任意图的顶点分配标签,其能量函数可以具有如下形式:

E(y,x)=∑iϕi(yi,x)+∑(i,j)∈Eϕij(yi,yj,x).E(\mathbf{y},\mathbf{x}) = \sum_i \phi_i(y_i,\mathbf{x}) + \sum_{(i,j)\in E} \phi_{ij}(y_i,y_j,\mathbf{x}).

一元项表达局部证据,成对项则表达相容性。在图像中,一元项可以根据外观偏向某个类别,而成对项则可以对将相邻且视觉上相似的像素分配到不同类别的情况施加惩罚。这种平滑性是建模时的一种偏好,并不要求所有相邻像素都属于同一类别。

半马尔可夫条件随机场为片段分配标签,而不只是为单个位置分配标签。片段的特征可以描述其完整跨度、持续时间或内部模式。Sunita Sarawagi 和 William Cohen 于 2004 年提出了用于信息抽取的半马尔可夫条件随机场。若片段的最大长度为 LL,并假定可以在常数时间内获取片段得分,则典型的一阶动态规划算法的复杂度为 TLK2TLK^2 量级。这使抽取模型能够直接为完整的人名或地址组成部分评分,而不必仅靠词元之间的转移来重建每个片段。

其他扩展包括高阶因子、由多条相互作用的标签链组成的因子化结构,以及隐状态条件随机场。更强的表示能力也带来了更高的计算需求。即便图中的每个因子本身都很简单,精确求和的计算代价仍可能高到难以承受。对于许多类别的离散图模型,精确归一化和边缘推断在一般情况下都是计算难解的。对于受限结构,尤其是树宽较小的图,精确方法仍然具有实用性。

近似方法包括环状置信传播、变分近似、采样和专门的优化方法。在变分推断中,用一个易于计算的分布来近似目标条件分布;平均场方法通常将这一近似分布按变量进行因子分解。环状置信传播在含环的图中反复传递局部消息,但与树结构上的置信传播不同,它通常既不保证得到精确结果,也不保证收敛。近似最高得分解码与配分函数的近似估计是两项不同的任务,可能需要采用不同的算法。

计算机视觉领域的一项重要进展,是 Philipp Krähenbühl 和 Vladlen Koltun 于 2011 年介绍的、具有高斯边势函数的全连接条件随机场。它连接大量像素对,并利用高效的高维滤波来加速近似平均场更新。对空间关系和外观差异敏感的相互作用,可以促进区域内部的一致性,而不只是一味地跨越图像中的显著边界进行平滑。在满足次模性条件时,某些二元标签的成对能量函数也可以使用最小割方法进行精确优化。这一结果针对的是最优标签赋值,而不一定意味着能够得到精确概率。因此,推断算法是否适用,既取决于图的结构,也取决于各因子的具体数学形式。

神经条件随机场与表示学习

神经条件随机场使用人工神经网络生成部分或全部势函数。在序列标注中,编码器为每个输入位置生成一个上下文向量 hth_t,再通过学习得到的映射将其转换为标签得分:

ut(k)=wk⊤ht+bk.u_t(k)=\mathbf{w}_k^\top h_t+b_k.

随后,转移矩阵为相邻标签添加得分。模型以条件随机场的条件似然为训练目标,因此其归一化过程将各个输出决策耦合起来,同时通过梯度训练编码器。神经网络负责学习表示,条件随机场层则为结构化输出提供显式的概率分布。

采用句子级结构化目标的神经序列模型,已出现在 Ronan Collobert 及其同事于 2011 年开展的研究中。双向长短期记忆网络与条件随机场的组合在 2010 年代中期受到广泛关注。Zhiheng Huang、Wei Xu 和 Kai Yu 于 2015 年介绍了一种双向 LSTM–CRF 模型。2016 年,Guillaume Lample 及其同事提出了一种神经命名实体识别架构,将基于字符的表示和上下文词表示与条件随机场输出层相结合。这些系统推动了以学习得到的表示取代大量人工设计的词汇特征,同时保留了显式的序列级评分机制。

在双向循环编码器中,词元表示融合了前后输入的信息。在 Transformer架构的编码器中,注意力机制通过另一种架构提供上下文信息。基于 BERT 语言模型及相关预训练编码器的模型,可以在词元表示之上添加条件随机场。编码器已经能够看到整个句子,并不意味着条件随机场在数学上就变得多余:对输入进行上下文处理与建模输出标签之间的依赖关系,是两种不同的操作。额外的结构化层能否提升性能,是一个需要通过实验回答的问题,不能仅凭架构本身得出结论。

神经条件随机场需要仔细处理模型位置与标注单元之间的对齐。采用子词级分词与词元化时,一个已标注的词可能会对应多个编码器位置。系统可以为每个词选取一个表示,将多个子词表示汇聚起来,也可以将标注方案扩展到子词位置。此外,还必须借助掩码,在动态规划中正确排除填充位置,并妥善处理句子边界。如果损失函数所使用的序列与作为输出进行评估的序列不一致,即便条件随机场在形式上完全正确,也无法弥补这种错位。

端到端学习也改变了计算开销的重心。对于稠密的一阶链,条件随机场层的计算复杂度为 O(TK2)O(TK^2),但大型编码器可能占据总运行时间的绝大部分。反过来,庞大的标签集或复杂的输出因子也可能使结构化推断代价高昂。神经网络给出的得分并不会自动编码合法性约束:学习得到的转移得分可以抑制非法标签对,却不能禁止它们。固定掩码可以在训练、解码或两者中强制执行允许的转移。这些选择定义了不同的模型,必须将其与单纯学习转移矩阵区分开来。

应用、评估与实际局限

条件随机场已广泛应用于语言处理任务,包括命名实体识别、词性标注、分词、组块分析和信息抽取。当输出的局部标签集合较小,但这些标签又必须组合成有意义的文本片段时,其优势尤为明显。例如,文档信息抽取系统可以将词元标注为姓名、日期或地址的组成部分,同时表示不同字段之间的边界。条件随机场也被用于生物序列注释和时序活动标注;在这些任务中,相邻状态或片段持续时间所传递的信息,可能会被彼此独立的局部分类器忽略。

在计算机视觉中,条件随机场通过结合局部类别证据与空间关系,为图像分割和语义分割提供支持。分类器给出的像素预测可能不够确定,或在空间上杂乱不规则;条件随机场则可以表达对类别相容、区域连贯以及边界与观测到的外观特征相吻合的偏好。过强的成对平滑也可能抹去小物体或细长结构。随着视觉编码器整合空间上下文的能力增强,显式的条件随机场后处理已不再是许多架构的必要组成部分,不过,结构化图模型对于特定约束和交互模式仍然有用。

评估必须与任务的输出结构相匹配。词元准确率可能掩盖实体抽取中的严重边界错误,因此,这类系统通常采用实体级精确率、召回率和 F1 值,要求文本跨度和类别均完全匹配。分割系统则通常报告预测区域与参考区域的交并比。条件对数似然衡量模型赋予标注输出的概率,而这些任务指标评估的是解码后作出的决策。似然的提高并不一定会带来跨度级 F1 值或区域重叠程度的相应提升。

可靠的比较还需要将条件随机场本身的贡献与其编码器、特征和预处理的贡献区分开来。要与独立分类进行有意义的比较,就应尽可能保持输入表示、训练样本和评估规范一致。词元对齐、转移约束或句子切分的变化,即使与全局归一化无关,也可能改变结果。应避免无意中让同一文档或密切相关的序列同时出现在训练集和评估集中,因为这类数据泄漏可能会抬高测得的性能,却不能证明模型对新材料的预测能力有所改善。

归一化的条件分布并不能保证不确定性估计得到良好校准,也不能保证模型在分布偏移下具有鲁棒性。条件随机场可能学到标注过程引入的人为模式,依赖特定领域的用词模式,并对陌生输入的输出赋予很高的置信度。长序列的概率也自然会分散到许多完整配置上,因此,仅凭序列概率低,并不能对词元级预测的不可靠程度作出有意义的解释。在实际实现中,必须区分数值稳定性、优化是否成功、结构有效性和经验准确性:它们各自针对不同的潜在失效问题。尚未解决的建模问题包括:如何在编码长程约束的同时避免推断变得难以处理,如何高效地从不完整标签中学习,以及当近似推断取代精确归一化时,如何保留有用的概率特性。