求解非线性方程组的无导数共轭梯度法文献综述

文献综述

1、选题目的和意义：非线性方程组的求解是当今科学发展的一个重要研究方向, 这是因为在经济学、工程实践、信息安全和动力学等方面有大量的实际问题最终转化为非线性方程组的求解问题. 因此求解非线性方程组的问题引起人们广泛的关注与重视, 使得人们不停地探索各种有效的求解方法.对于非线性方程组的求解方法主要有符号算法和数值算法,其中最重要的是数值算法,一般通过迭代法来求得近似解.数值迭代法首先要满足迭代序列是收敛的,其次人们研究如何使得算法的收敛速度更快，计算时间更短以及求解规模更大.比如不动点迭代法、牛顿法、拟牛顿法、共轭梯度法、同伦法、区间迭代法等.求解非线性方程组最经典的方法是牛顿法,它是由求解无约束最优化问题的牛顿法推广而来.该方法具有收敛速度快的优点，但是它要求初始点接近最优点,且计算量大,只适于小规模问题.共轭梯度法也是求解非线性方程组的一类重要方法，主要适合求解大规模问题.最初,共轭梯度法是Hestenes和Stiefel在求解线性方程组时分别独立提出的.1964年,Fletcher和Reeves较早将线性共轭梯度法的思想应用于求解非线性优化问题.无导数共轭梯度法是求解对称非线性方程组最有效的数值算法之一，本文是在深入学习求解非线性方程组的无导数方法及共轭梯度法，建立新算法，对相关问题进行求解、分析，做出结论，并和已有的研究成果进行比较，总结算法的优缺点及进一步可能的研究方向。

2、国内外研究现状：共轭梯度法也是求解非线性方程组的一类重要方法,主要适合求解大规模问题.最初，共轭梯度法是Hestenes和Stiefel在求解线性方程组时分别独立提出的.1964年，Fletcher和Reeves较早将线性共轭梯度法的思想应用于求解非线性优化问题.早期的共轭梯度法的缺点是算法产生的搜索方向可能不是下降方向,因此,共轭梯度法的方向是否下降就成了一个重要的问题，特别是考虑算法是否满足充分下降的性质[1].2005年,Hager和Zhang得到了一个能保证充分下降条件成立的共轭梯度法[2].2013年，Dai和Kou提出了--种非单调Wolfe线搜索和新的再开始技巧,得到了一个具有充分下降性的共轭梯度法[3].此外，关于共轭梯度法的研究还有:Birgin和Martinez提出了谱共轭梯度法[4],Al-bayati和Latif,Andrei提出了调比共轭梯度法和自调比共轭梯度法[5,6]等.共轭梯度法具有存储量少且计算速度快等优点,所以该方法已成为求解大规模优化问题的重要方法.Polak-Ribiere-Polyak(PRP)共轭梯度法[7,8]在实际计算中被认为是效率最高的[9,10,11],值得进一步研究.近年来,共轭梯度法被用于求解非线性方程组问题.Yu[12,13]提出了求解大规模非线性方程组的带有非单调线搜索技术的PRP共轭梯度法.受文献[12,13，14]的启发，Li提出了求解大规模非线性方程组无导数PRP共轭梯度法[15]. 国内的[16]沈冬梅,杨忠选针对对称非线性方程组的求解问题,使用近似梯度代替精确梯度,构造了两种修正的MHS无导数型共轭梯度法,这两个算法的显著特征是搜索方向均为下降方向,且适用于求解大规模的对称非线性方程组问题。

[17]沈冬梅,王国威,胡中波.,针对近似PRP型无导数共轭梯度法的收敛速度问题,通过充分利用非线性方程组的对称结构,在适当的假设条件下,证明了该算法具有R-线性收敛速度。

[18]湖北大学的邹志伟在Gu等人提出的求解对称非线性方程组的一种下降拟牛顿型算法的基础上提出求解对称非线性方程组的一种具有下降性质的共轭梯度算法，在算法中借助于求解无约束最优化问题的CD共轭梯度法的思想。

[19]程万友,安小敏,邹占勇.提出求解大规模非线性方程组的一种无导数共轭梯度法。

[20]李敏提出了一种求解大型非线性方程组的无导数共轭梯度型方法。

在迭代法中，搜索方向基于PolakRibirePolyak（PRP）共轭梯度法，步长由合适的非单调线搜索确定。

在适当的条件下，证明了该方法的全局收敛性。

该方法适用于存储要求较低的大规模问题3、简述本文将做的工作共轭梯度法的基本思想是将当前点的负梯度方向与前面搜索方向进行共轭化,从而产生当前点的搜索方向.共轭梯度法需要的储存量和计算量较少，当问题维数较多时,用这个算法求解是非常有效的.本文通过学习求解非线性方程组的基础模型以及典型的数学规划方法，对不同算法进行学习之后，将无导数PRP法用来求解非线性方程组，对相关问题进行求解、分析。