数学优化是数学的一个分支，研究如何在满足指定限制的条件下，选择决策变量的取值，使目标函数达到最小值或最大值。它既提供了表述决策问题的语言，也提供了解决这些问题的方法。其应用涵盖资源分配、工程设计、统计估计和机器学习等领域。数学优化也称为数学规划，这里的“规划”指制订计划或选择决策，而不是专指编写计算机程序。(stanford.edu)
数学表述
一种常见的有限维表述为
[ \begin{aligned} \operatorname{minimize}_{x\in X}\quad & f(x),\ \text{subject to}\quad & g_i(x)\leq 0,\quad i=1,\ldots,m,\ & h_j(x)=0,\quad j=1,\ldots,p. \end{aligned} ]
其中，(x) 表示决策变量，(f) 是目标函数，函数 (g_i) 和 (h_j) 分别表示不等式约束和等式约束。定义域 (X) 可以施加额外限制，例如要求某些变量取整数值。可行集由满足这些要求的所有点组成。最大化 (f) 等价于最小化 (-f)。(stanford.edu)
如果可行点 (x^\ast) 对每个可行点 (x) 都满足 (f(x^\ast)\leq f(x))，那么它就是全局极小点。局部极小点则只需在某个邻域内满足这一比较关系。一个问题可能无可行解、目标函数无下界，或具有有限的下确界却无法取到该值。例如，在 (x>0) 的条件下最小化 (x)，其下确界为零，但不存在极小点。(wiki.mcs.anl.gov)
主要问题类别
优化问题可按变量、约束和目标函数分类：
- 连续优化允许变量在连续的定义域内取值，通常是实坐标空间的子集。
- **整数规划**要求部分或全部变量取整数值；混合整数问题则同时包含整数变量和连续变量。
- **线性规划**采用线性目标函数，以及仿射等式或不等式约束。
- 二次规划采用二次目标函数和仿射约束。
- 非线性优化允许采用更一般的函数。
- 无约束优化除变量定义域外，没有显式约束；约束优化则包含额外限制。(wiki.mcs.anl.gov)
这些分类彼此存在交叉。在凸优化中，目标函数是凸函数，可行集也是凸集。此时，每个局部极小点都是全局最优解，不过极小点未必存在，也未必唯一。非凸问题可能有多个不同的局部极小值，因此更难证明一个解具有全局最优性。(stanford.edu)
最优性条件与对偶性
对于可微的目标函数，无约束局部极小点若位于定义域内部，其梯度必须为零。但这一条件并不充分：驻点也可能是极大点或鞍点。二阶条件通过由二阶导数组成的海森矩阵考察函数的曲率。如果某个驻点处的海森矩阵正定，就能确定该点是严格局部极小点。(wiki.mcs.anl.gov)
约束问题通常使用卡鲁什—库恩—塔克条件，其中涉及驻点条件、可行性、乘子的符号和互补松弛条件。这些条件成为必要条件，一般需要满足适当的约束资格条件。拉格朗日对偶构造一个相关问题，其取值可为原最小化问题提供界。在适当条件下，包括凸优化中常用的正则性假设，原问题与对偶问题的最优值相等。这类界无需直接比较所有可行点，就能验证解的质量。(mit.edu)
求解方法
优化算法利用问题的结构以及可获得的函数信息。梯度下降沿梯度的反方向反复移动，每次更新的幅度由步长控制。线搜索过程沿给定方向选择步长。牛顿法利用二阶信息，而拟牛顿法则构建曲率的近似，而非在每次迭代中计算完整的海森矩阵。(arxiv.org)
线性规划通常使用单纯形法或内点法求解。其他约束问题则采用投影梯度法、罚函数法、增广拉格朗日法或序列二次规划法。这些方法在满足约束或构造较简单子问题的方式上有所不同。没有任何一种方法能同样适用于所有类别的问题。(neos-guide.org)
对于基于大规模数据的目标函数，随机梯度下降使用抽样观测值或小批量数据来估计梯度。这减少了每次更新的计算量，但也引入了随机波动。Adam优化器等方法利用累积的梯度统计量自适应地调整更新；其表现取决于目标函数、参数设置和抽样过程。(arxiv.org)
在学习与决策中的应用
在统计学习中，优化通过最小化在训练数据上计算的损失函数来选择模型参数。经验风险最小化以观测损失的平均值为基础，将这一过程形式化。正则化通过修改目标函数或允许的参数范围，抑制特定形式的复杂性。神经网络训练通常将基于抽样梯度的更新与通过模型计算导数的过程结合起来。(mit.edu)
在运筹学和工程领域，决策变量可以描述生产数量、调度安排、运输方案或发电量。约束则表达容量限制、守恒要求和其他限制。优化模型也见于经济学和博弈论，包括消费规划和企业之间的策略互动。(neos-guide.org)
建模与数值计算的局限
最优性始终是相对于所选模型而言的：改变目标函数、约束或输入数据，都可能改变最优方案。因此，一个数学上最优的结果，并不能证明模型涵盖了实际情境中所有相关的特征。实际分析包括建立问题模型、求解问题，以及结合应用背景解释结果。(neos-guide.org)
数值方法通常返回近似解，而不是精确的符号解。评估这些解时，需要分别考察约束违反程度、驻点条件的满足程度以及目标函数值的界。对于一般的非凸问题，仅凭梯度很小不能证明全局最优性；而适当的原问题—对偶问题界则可以提供定量的验证依据。(mit.edu)