欢迎来到某某声学隔音工程有限公司官方网站！
最优化
作者：佚名 日期：2024-06-10 阅读(
)
随着科学技术的日益发展，许多工程的核心问题最终都归结为优化问题。因此，最优化已经成为工程技术人员必不可少的计算工具。在计算机已经广为普及的今天，一些大规模的优化问题的求解可以在一台普通的计算机上实现，使得最优化方法得到了比以往任何时候都更加广泛的应用。如今，最优化方法已成为工程技术人员所必需具备的研究工具。
1. 梯度下降法（Gradient Descent）
梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。
2. 牛顿法（Newton's Method）和拟牛顿法（Quasi-Newton Methods）
牛顿法
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。牛顿法最大的特点就在于它的收敛速度很快。
拟牛顿法
拟牛顿法是求解非线性优化问题最有效的方法之一，其本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。
4. 启发式优化方法
启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验，选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案。启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。
作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。
将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题，拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n个变量分别求偏导对应了n个方程，然后加上k个约束条件（对应k个拉格朗日乘子）一起构成包含了（n+k）变量的（n+k）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。
最优化问题的共同特点是：求满足一定条件的变量x1，x2，…，xn，使某函数f(x1，x2，…，xn)取得最大值或者最小值。由于f(x1，x2，…，xn)的最大问题可以转化为-f(x1，x2，…，xn)的最小问题，所以较多时候只讨论最小问题。这里的函数f(x1，x2，…，xn)称为目标函数或者评价函数；变量x1，x2，…，xn称为决策变量；需要满足的条件称为约束条件；用以构成约束条件的函数称为约束函数。
1、无约束问题
求x=(x1，x2，…，xn)T使函数f(x)=f(x1，x2，…，xn)达到最小值，记为min f(x)。
2、约束问题
根据约束函数的类型又可分为以下几类：
（1）等式约束问题：求x=(x1，x2，…，xn)T使其在满足l个等式约束条件hj(x)=0，j=1，2，…，l的情况下，使函数f(x)=f(x1，x2，…，xn)达到最小值，记为如图1公式
图1（2）不等式约束问题：求x=(x1，x2，…，xn)T 使其在满足m个不等式约束条件gi(x)≥0，i=1，2，…，m 的情况下，使函数f(x)=f(x1，x2，…，xn)达到最小值，记为如图2公式
图2（3）混和约束问题或称一般约束问题：求x=(x1，x2，…，xn)T使其在满足m个不等式约束条件
gi(x)≥0，i=1，2，…，m以及l个等式约束条件hj(x)=0，j=1，2，…，l的情况下，使函数
f(x)=f(x1，x2，…，xn)达到最小值，记为如图3公式
图3以上各问题中的函数f(x)=f(x1，x2，…，xn)称为目标函数，函数gi(x)、hj(x)称为约束函数。满足约束条件的点x构成的集合，称为可行解集合，亦称可行区或可行域。 [1]
最优化问题也称为规划问题。
如果最优化问题的目标函数为f(x)，约束条件为gi(x)≥0，i=1，2，…，m则：
当f(x)和gi(x)均为线性函数时，称此最优化问题为线性规划；
当f(x)和gi(x)不全为线性函数时，称此最优化问题为非线性规划；
当f(x)为二次函数，而gi(x)全为线性函数时，称此最优化问题为二次规划。
对于最优化问题，如果变量x=(x1，x2，…，xn)T的各分量只能取整数，则相应的最优化问题称为整数规划。
如果变量x=(x1，x2，…，xn)T 的各分量只能取0和1，则相应的最优化问题称为0-1规划。
设最优化问题为(P)
定义1：
如果有x*∈D使得
在定义中，如果当?x∈D且x≠x*时恒有f(x)>f(x*)，则称x*为问题（P）的严格全局最优解，称f(x*)为严格全局最优值。
定义2：
如果有x*∈D及δ>0，使得当x∈D ∩ Nδ(x*)时恒有f(x)≥f(x*)，则称x*为问题（P）的局部最优解，称f(x*)为局部最优值。
同样，定义中，如果当x≠x* 时可将 “≥”改为 “>”，则称x* 为问题（P）的严格局部最优解，称f(x*)为严格局部最优值。 [2]
