直接法 往往以直观或以计算实践为基础而产生，网站优化代理这类算法的特点是只要求计算函数值本身，因而易于使用，但是与另一些要求计算偏导数值的方法相比，又收敛得慢。所以直接法常常用于变量极少而函数比较复杂且不易计算偏导数的情形。较为常用的直接法有鲍威尔法、单纯形调优法和模式搜索法。

　　(尣)→0。这两个方法各有其优缺点。陡下降法比较简单,并且除了函数值本身外,只需要计算一阶偏导数的值；但是理论分析和计算实践都表明这个方法的收敛速度很慢。事实上，由 及式(5)可知,{尣}中的点沿着相互正交的方向交替前进，因此，即使对于二次严格凸函数,

　　共轭梯度法 由于在局部小值点的邻近，函数的性状与二次凸函数 (6)十分相似，所以对于一个好的寻优方法，人们要求它在应用于二次凸函数时有较快的收敛速度，即使小值点不能象牛顿－拉弗森方法那样一步达到，也应在有限步内达到。事实上，沿着y

　　的共轭方向系。20世纪60年代R.弗莱彻和C.M.里夫斯用梯度向量构造出共轭方向系，提出了共轭梯度法。它从任意的初始点尣

　　次迭代时取移动方向然后沿着半直线)作线性搜索得到尣。在将它应用于二次凸函数(6)时，它就是一个共轭方向法，多n

　　。共轭梯度法也适用于非二次的目标函数。在将共轭梯度法应用于非二次的目标函数时,常常采用周期性重开始的策略,也就是说,对于n

　　则由(8)中第二个公式定义,采用这种策略，数值效果将有显著改进，理论上也可证明可以达到n

　　,都有而若不采取周期性重开始的策略，其收敛阶仅为线性。共轭梯度法由于只需要存贮几个向量，网站优化代理特别适宜于解大型问题。当然，还需要采用条件予优的方法以加速收敛。

　　变尺度方法 也有人称为拟牛顿方法。这是近二十多年来发展起来的一类很有成效的寻优方法。理论分析和计算实践都表明这类方法的收敛速度较快，同时又无需计算二阶偏导数矩阵。这类方法的共同特点是:移动方向s

　　取得相同，那么在一定条件下，由不同的变尺度方法产生的点列{尣}都只依赖于某一参数；但在实际计算中,由于舍入误差的关系,由不同的变尺度方法产生的点列未尽相同。成功的变尺度法是BFGS法，它的H

　　(尣)在半直线)上的小值点，网站优化代理但在实际计算中,无法做到；虽然可以用黄金分割、二次插值等方法做到充分的近似，却极为费时。近年来，人们注意建立在不线性搜索的基础之上的方法。鲍威尔于1976年证明了：用适当的不线性搜索代替线性搜索后，BFGS算法仍是超线年代，又出现了信赖域方法和基于锥模型的优化算法，已取得了良好的效果，受到了广泛的重视。

　　(尣)是一些函数的平方和,即。这类问题在数据拟合中经常出现，方程组的求解也可转化为小平方和的问题。由于目标函数具有特殊的形式，所以人们设计了专门的方法，如高斯-牛顿方法、莱文贝格-马夸特方法等。
以上信息由常州声谷信息科技有限公司整理编辑，了解更多网站优化,网站优化代理,单词优化,网站优化哪家好,单词优化代理,正规网站优化代理信息请访问http://www.shengguxinxi.com