牛顿法和拟牛顿法ppt课件.pptx

《牛顿法和拟牛顿法ppt课件.pptx》由会员分享，可在线阅读，更多相关《牛顿法和拟牛顿法ppt课件.pptx（41页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用4.6.5牛牛顿顿法法拟拟牛牛顿顿法法&经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用x1x20Penaltymethod经营

2、经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用系统思想系统思想经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用 迭代法共同特点：迭代法共同特点：对求解变量的数值进行逐步改进，对求

3、解变量的数值进行逐步改进，使之从开始不能满足方程的要求，逐渐逼近方程所使之从开始不能满足方程的要求，逐渐逼近方程所要求的解，每一次迭代所提供的信息（表明待解变要求的解，每一次迭代所提供的信息（表明待解变量的数值同方程的解尚有距离的信息），用来产生量的数值同方程的解尚有距离的信息），用来产生下一次改进值，迭代方案有多种，这就形成了不同下一次改进值，迭代方案有多种，这就形成了不同的迭代方法。的迭代方法。变量轮换变量轮换单纯形法单纯形法最速下降法最速下降法共轭梯度法共轭梯度法牛顿牛顿法法&拟牛顿法拟牛顿法系统思想系统思想经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按

4、照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用一.牛顿法 1.问题提出 最速下降法：当前迭代点 Xk,迭代简单，但容易产生锯齿现象，使得收敛缓慢，即一阶逼近函数得到的模型比较粗糙。提高逼近阶数牛顿法：二阶逼近函数算法，快速收敛 牛顿迭代牛顿迭代最速下降最速下降经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购

5、买商品的价款或接受服商品的价款或接受服务务的的费费用用图图4-12从目标函数值近似值的观点从目标函数值近似值的观点比较最速下降法和牛顿法比较最速下降法和牛顿法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用一、牛顿法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿

6、的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用将将将将f f(x(xk+1k+1)在在在在x=xx=xk k处一阶泰勒展开：处一阶泰勒展开：处一阶泰勒展开：处一阶泰勒展开：目标函数趋于零目标函数趋于零目标函数趋于零目标函数趋于零一.牛顿法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用将将将将f f(x(xk+1k+1)在在在在x=xx=xk

7、k处二阶泰勒展开：处二阶泰勒展开：处二阶泰勒展开：处二阶泰勒展开：目标函数趋于零目标函数趋于零目标函数趋于零目标函数趋于零一.牛顿法一维搜索简化公式一维搜索简化公式经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用一.牛顿法推广到多元函数情况，即得到求解多元函数极小的推广到多元函数情况，即得到求解多元函数极小的牛顿迭代算法：牛顿迭代算法：经营经营者提供商品或者服者提供商品或者服务务有欺有

8、欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用一.牛顿法Newton迭代公式迭代公式其中其中经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用1.牛顿法几何解释几何直观解释：最密切的二次曲线逼近几何直观解释：最密切的二次曲线逼

9、近经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用2.Newton算法Step1:给初始点x0,精度0,k=0Step2:计算Step3:由方程组 H(x k)x k =-h k 解出xk+1,当H k可逆时，xk+1=xk-Hk-1.hkStep4:经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的

10、其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用例例1.设设分析分析:搜索方向搜索方向解：解：故故求在点求在点处处的的搜索搜索方向方向.故需要写出故需要写出的表达式的表达式.经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用故故所以所以经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当

11、按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用进而得进而得因此所求的牛顿方向为因此所求的牛顿方向为由由经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用例例2 2：用牛顿法求解：用牛顿法求解：解：解：因因 所以迭代终止所以迭代终止,最优点为最优点为:经营

12、经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用3.牛顿法优缺点(1)对正定二次函数，迭代一次就可以得到对正定二次函数，迭代一次就可以得到极小点极小点(2)如果如果正定且初始点选取合适，正定且初始点选取合适，算法算法很快收敛很快收敛优点优点经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，

13、增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用(2)收敛性与初始点的选取依赖很大收敛性与初始点的选取依赖很大(3)每次都需要计算海森阵每次都需要计算海森阵计算量大计算量大(4)每次都需要解方程组每次都需要解方程组方程组有时奇异或病态的，方程组有时奇异或病态的，不是下降方向不是下降方向(1)要求函数二阶可微要求函数二阶可微.缺点缺点经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购

14、买商品的价款或接受服商品的价款或接受服务务的的费费用用二二.阻尼牛顿法阻尼牛顿法Newton法改进法改进这样往往可以克服上述缺点这样往往可以克服上述缺点.针对缺点中的针对缺点中的(2),在求新迭代点时，不直在求新迭代点时，不直接用公式进行迭代，而是以接用公式进行迭代，而是以 作为搜索作为搜索方向进行一维搜索，求步长方向进行一维搜索，求步长 ，使，使1.基本思想基本思想经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品

15、的价款或接受服务务的的费费用用2.阻尼牛顿法算法Step1:给出给出Step2:计算计算如果如果停停否则计算否则计算并令并令Step4:令令转转Step2.Step3:沿沿进行线搜索，进行线搜索，得最优步长得最优步长经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用3.收敛性定理定理定理3.7二次连续可微，二次连续可微，正定正定设设是由阻尼牛顿法得到的迭代点列是由阻尼牛顿法得到的迭代点列

16、.记记必有聚点必有聚点,且任何聚点且任何聚点有界有界,若水平集若水平集满足满足则则经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用1.分析：Newton法 优点：高收敛速度（二阶收敛）缺点：对初始点目标函数要求高，计算量，存 储量大（需要计算、存储hessian矩阵及其逆矩阵）拟牛顿法模拟牛顿法给出的一个“保优去劣”的算法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为

17、的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用考虑Newton迭代公式：搜索方向为进行改进：一、避免求逆矩阵，用 则上式变为 此时搜索方向为 步长因子为 二、更大的灵活性，一般化经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用这样的H k

18、存在？1、为保证 总是下降方向，要求每一个G k均称为正定矩阵2、为易于计算，要求有简单的迭代形式，最简单的迭代关系为经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用拟牛顿条件分析：Hk-1需满足的条件，并利用此条件确定G k由归纳法，若由H k可求Hk+1,则在xk+1点，Taylor展开 想到经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照

19、消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用在确定拟牛顿方程式的在确定拟牛顿方程式的Hk+1时，若矩阵时，若矩阵Hk+1对称，则需对称，则需要待定（要待定（n+n2)/2个未知数，个未知数，n个方程，所以拟牛顿方程个方程，所以拟牛顿方程一般有无穷个解，故由拟牛顿方程确定的一族算法，通一般有无穷个解，故由拟牛顿方程确定的一族算法，通常称之为拟牛顿法常称之为拟牛顿法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者

20、的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用拟Newton算法1、给定初始点x0,正定矩阵H0,精度0,k=02、计算搜索方向3、令xk+1=xk+tk.sk,其中 tk为f(xk+tkSk)=min f(xk+tsk)4、若 ，则xk+1为最优解，否则转步骤55、按照校正公式 Gk+1=Gk+Gk,计算GK+1使得Gk+1满足拟牛顿条件或拟Newton方程：Gk+1*y k=dk 令k=k+1,转步骤2经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当

21、按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用DFP算法1、DFP算法提出：(1)Davidon (2)Fletcher&Powell (3)多变量无约束优化2、如何确定G(k)?秩2校正法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用根据拟Newton条件

22、：Gk+1yk=dk,我们有满足上述方程的解很多，可如下确定一组解则我们可以取经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用即由此得到Gk的DFP校正公式性质：H00,则可以推出Hk0 正交继承性经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消

23、消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用DFP算法步骤将拟Newton法第5步骤改为:5、按DFP校正公式计算Gk,k=k+1,转步骤2经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用BFGS算法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增

24、加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用Summary 非线性问题规划求解变量轮换法变量轮换法单纯形法单纯形法最速下降法最速下降法共轭梯度法共轭梯度法牛顿法牛顿法拟牛顿法拟牛顿法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用无约束最优化问题无约束最优化问题有约束最优化问题有约束最优化问题单变量函数的优化单变量函数的优化 一维搜

25、索一维搜索多变量函数的优化策略多变量函数的优化策略系统思想系统思想经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用Summary函数函数值搜索搜索（零（零阶法）法）变量量轮换法法单纯形法形法梯度信息搜索梯度信息搜索（一（一阶法）法）最速最速下降法下降法共共轭梯度法梯度法二二阶近似近似值搜搜索（二索（二阶法）法）牛牛顿法法拟牛牛顿法法经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈

26、诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用无约束多变量函数的优化策略无约束多变量函数的优化策略1、选择初始、选择初始点点x0。当然初始点离最小点越近越好当然初始点离最小点越近越好。2、确定搜索方向、确定搜索方向 Sk，使目标函数从使目标函数从 xk 沿沿此方向下降此方向下降。3、在在xk 方向方向上进行一维搜索。在由上进行一维搜索。在由 xk 出发出发的的射线射线 x=xk+kSk (k0)上上选取步长选取步长 k,使使一元（一元（

27、）函数）函数 f(xk+kSk)在在=k处处取最小值。它是一个单变量函数极小取最小值。它是一个单变量函数极小问题。由此得到新问题。由此得到新点点 xk+1=xk+k Sk(k0)4、检验检验xk+1 是否是否最优解。最优解。共同缺点在于有共同缺点在于有多重局部解存在时多重局部解存在时，不一定，不一定能能找出全局最优解找出全局最优解经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用Summ

28、ary变量轮换法变量轮换法特点：特点：可靠性较高，属于直接法，只需目标函数值信息，不需要目可靠性较高，属于直接法，只需目标函数值信息，不需要目标函数导数。标函数导数。程序简单，易于掌握。但是搜索效率低，且越程序简单，易于掌握。但是搜索效率低，且越接近极值点，搜索速度越慢。接近极值点，搜索速度越慢。单纯形法特点：是是不需要复杂的导数运算，它朝最优点的不需要复杂的导数运算，它朝最优点的移动完全由上一个单纯形的结果所定，计算机上使用时贮移动完全由上一个单纯形的结果所定，计算机上使用时贮存少。但由于步长固定，故缺少加速的方法。存少。但由于步长固定，故缺少加速的方法。单纯形：指多维空间的凸多单纯形：指多

29、维空间的凸多边形的顶点数比空间维数多，边形的顶点数比空间维数多，如正四面体如正四面体经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用Summary最速下降法最速下降法特点：特点：前前后两步迭代的搜索方向后两步迭代的搜索方向相互正交，对相互正交，对f（x)的的尺度太灵敏，收敛缓慢，尺度太灵敏，收敛缓慢，容易在容易在x空间上产生大空间上产生大量的摆动，可能产生锯量的摆动，可能产生锯齿现象齿

30、现象共轭梯度法共轭梯度法特点：特点：增大了很少的计算量增大了很少的计算量结合了梯度向量的信息结合了梯度向量的信息及前一次迭代的梯度向及前一次迭代的梯度向量信息，优点在于仅仅量信息，优点在于仅仅需要在每部计算中存储需要在每部计算中存储少量的信息，可应用到少量的信息，可应用到大问题上大问题上直接直接搜索法方法简单，但收敛速度一般比较慢，需搜索法方法简单，但收敛速度一般比较慢，需要计算大量的函数值要计算大量的函数值经营经营者提供商品或者服者提供商品或者服务务有欺有欺诈诈行行为为的，的，应应当按照消当按照消费费者的要求增加者的要求增加赔偿赔偿其受到的其受到的损损失，增加失，增加赔偿赔偿的金的金额为额为

31、消消费费者者购买购买商品的价款或接受服商品的价款或接受服务务的的费费用用牛顿牛顿法需要最少的迭代法需要最少的迭代缺点：有多重局部解存在时，牛顿法不一定能找出全局缺点：有多重局部解存在时，牛顿法不一定能找出全局最优解最优解2.需要解一组含有需要解一组含有n个对称线性方程的方程组个对称线性方程的方程组3.需要求一阶、二阶偏导数，实际过程中可能不存在需要求一阶、二阶偏导数，实际过程中可能不存在4.使用到单元步长时，可能不收敛使用到单元步长时，可能不收敛Summary拟牛顿法拟牛顿法不必用解析法更新汉森矩阵，也不需要用计算机花不必用解析法更新汉森矩阵，也不需要用计算机花费时间用于由离散方法求二阶偏导数矩阵，还可避免每次更费时间用于由离散方法求二阶偏导数矩阵，还可避免每次更新新H的求逆运算。的求逆运算。