下降迭代算法

摘要：迭代方法是求解非线性规划问题的基本方法。利用迭代算法求解非线性规划问题的关键在于：一、构造每一轮的搜索方向；二、确定步长。本文介绍下降迭代算法的概念、步骤和终止条件。

1. 为何需要迭代方法？

    在无约束问题的极值条件中，我们讨论过极值的必要条件和充分条件。理论上讲，可以应用这些条件来求解相应的非线性规划问题的最优解。但在实际问题中，可能会遇到以下问题：

1.     目标函数的导数不存在；
2.     导数存在，但为非线性方程组，求解困难甚至无解析解；
3.     问题为约束优化问题，不能简单套用无约束问题的极值条件。

    与直接基于极值条件解析求解相对应的，是基于数值计算的迭代方法。事实上，迭代方法是求解非线性规划的更为一般的方法。我们在这里讨论极小值问题，其常用方法为下降迭代算法。

2. 下降迭代算法的概念

    下降迭代算法主要包括两个概念：迭代与下降。

    迭代  在优化计算中，迭代是指从已知点出发，依照某种规则（即算法）求出后继点，用 取代 ，然后重复以上过程，这样便会产生点列 和数列 。我们希望点列趋近于最优解，数列趋近于最优值。

    下降  所谓下降，是指对某个函数，在每次迭代中，后继点的函数值都比原来的函数值有