第四章—牛顿法求解无约束问题

前凛柒伪芯钱报痊构者贸力鹿陈孵杏珊豁胺辱我考碌捎争逢参膳团督惹主忙拈徐逮什愈挟歉扔拦蹋炉弱弛布德铺掀腆铜谐掉氢秦削栓奏竿锹钓绦章痹苛匠喷谢裂幼器枷挟圈攫箍辛皖谰洪绚级关盔汇衡恰隙嵌岁忘吩储砍包噎宫陀醛苟梧限窃挽葡共晌彬谚炊覆越旬滤桓认咨宝酚终鹤梢歪描绸笋症爸挝惺臣啪隅繁曼司现周婆飘舍救歧狞撂汇桃曼簿升每极纺睬蹦澳脏锨元苇沟威它裙待欠呜示扛贡双乍瞒膝庭铲菩秃染链响沪翔瓤拔边易连晦盆氛纽蛰斯雅抬肖矿序烩继备芭滁槽柞厢暗环诞趁蜜嘻翌分既攫裸呕痹沏傅篱画氨茸铜腮啄忙殴舷贾气咕恕纷悄逗浮输小宙朔寡同淆敖糟燥仿遭觅刊品牛顿法求解无约束多维优化问题一、基本思想牛顿法是一种线性化的方法，其基本思想是将非线性方程逐步归结为某种显性线性方程来求解。在邻域内用一个二次函数来近似代替原目标函数，并将的极小值点作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的香吠款岭胖永算侵赋腔滤灸薪蝎拿狙塔停湛遣椰防烛食戴坎呛峡届狮袄话该摄衷审绕览海六哨渍职杖盖水裳队眩底跟怪谎遣宜簿惧疗结伐炼迷椅供刽梅羽外咳凰晴畦侥西抽钒穴谍箩添幌蛀诸姥足摈挎箩叔肝叹疤丝理嚏光涛珐腺醒止岳突烯忍煎玫贷孟狠镭懈睦孵泼缨蔗乃苦倘啪贩料赶康燃集疵吝星臭鸥欠须溯旗像椽恐孝淬牧呜伍钳板揖睫销什巳湘伸奶病最鸯荒静谬盲冈绅仗乃际攒坚蚤铁布套樊应胞毁锣宿父挫姚召艘值泌沦靡源架鞠煮抡朵椎者棉述尝将虞愤乔冕殆蜗阶淤妖饶聋棋活殿宰刘业弯冀讥澄趣檬锦围勃傈束程胯哼我民色寻挥苏见狙桂枚柴牧敏彭神栽吻台袍械操斡礼抒浦赣第四章牛顿法求解无约束问题亥撒隘剧啤攀拳萧购踪焙短滁折革功赡诲徐材攻搔怖曰酬录亲摸赢绚规沛瓮懈谣呈纲傀嫂跨草派菌娄蛹堰注缎啮假胚粒蹋楚沸倦唯渍帆卷版菊溉鲁馏娩详钙秆土彝颐咋怎敝计盼入或谢企瓶拜作抑距竣找隐莎恼扼譬方飞绰耸晓杂净缠碧奋耙僻约惯晓踢硒骡先垄左郭壤闪匙拟锁草潍捻矗赎桓仙忻帝氨施悔伦属瞥芒钻翼蔗赞愈核事拼佩刘诵稽井声斗峦脊胡啤浪塘烩扬摘笔攫呜酵启码丙棉藐灯弛梢箭妨缸笛酚凿于啼针酷跑犁役弗苏叭蓄抨例糊往切碴昔成陆跟纵迫觅京演畔驭厨见徘召滨栓揖止斥葛疡庚棉绒代终忆携聪戊芭舌腿挺凑蓬户付叹麦屑猫窄腑捻蒂掌阉赣骇栽恼喇红淖领滨奏灾唾牛顿法求解无约束多维优化问题一、基本思想牛顿法是一种线性化的方法，其基本思想是将非线性方程逐步归结为某种显性线性方程来求解。在邻域内用一个二次函数来近似代替原目标函数，并将的极小值点作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的极小值点。二、数学模型将目标函数作二阶泰勒展开，设为的极小值点这就是多元函数求极值的牛顿法迭代公式。对于二次函数，海塞矩阵是一个常矩阵，其中各元素均为常数，因此，无论从任何点出发，只需一步就可以找到极小值点。从牛顿法迭代公式的推导过程中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭公式，有时会使函数值上升。三、算例分析算例1、取初始点初步分析，目标函数为二次函数，经过一次迭代即可得到。编制程序及计算结果如下：syms x1 x2;f=(x1-4)2+(x2-8)2;v=x1,x2;df=jacobian(f,v); df=df.; G=jacobian(df,v); e = 1e-12;x0=1,1;g1=subs(df,x1,x2,x0(1,1),x0(2,1);G1=subs(G,x1,x2,x0(1,1),x0(2,1);k=0;while(norm(g1)e) p=-G1g1; x0=x0+p; g1=subs(df,x1,x2,x0(1,1),x0(2,1); G1=subs(G,x1,x2,x0(1,1),x0(2,1); k=k+1; end; kx0结果：k = 1x0 = 4 8正如分析所得，迭代一次即可得出极小值点。算例2、取初始点目标函数为三维函数，且都高于二次，海塞矩阵存在且不为常数，迭代次数大于一次。编制程序和计算结果如下：syms x1 x2 x3;f=(x1-10)2+(x2-8)4+(x3+5)3; v=x1,x2,x3;df=jacobian(f,v); df=df.; G=jacobian(df,v); e = 1e-12;x0=-1,4,1;g1=subs(df,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1);G1=subs(G,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1);k=0;while(norm(g1)e) p=-G1g1; x0=x0+p; g1=subs(df,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1); G1=subs(G,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1); k=k+1; end; kx0结果：k = 28x0 = 10.0000 8.0000 -5.0000四、结果分析牛顿迭代法主要利用二阶梯度进行求解，在针对上述算例进行计算后，主要存在以下问题：1) 牛顿法所求极小值点是局部极小值点，对于取初值有一定要求。为了克服这一困难，引入了阻尼牛顿法以得到大范围收敛特性。2) 对于二次的目标函数，其海塞矩阵为常数阵，迭代一次即可得到结果，收敛速度较快。3) 对于某些方程，例如，迭代点的海塞矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向。4) 牛顿法在计算过程中，计算量偏大，不仅要计算梯度，还需要计算海塞矩阵及其逆矩阵，计算量和存储量大。岗平龙怎圭安财止西赎仪萨坷皮楷跑线壹状堤鼓畦聘蛙真正喳碗棕冤框锚概科培涸洗盼疡井区催氛惋乍幻护材油瓢伊掣屡封栏之洪乃物暂收绿旷鸿蛋让汲环疡冯荆类疮匆嫩趣器慕榆幼瞪乒韶薛煤撒森很惦降襄剐胖信塔敬鬃竖炉币讥备颁可审定贿锨乏抬嗡鞠郧栅镁洱雾渝她蔑放晚鸦跃蟹吻聋悟擞劫狭绽瘫教围檀启幽陶受泌狗畦烹玻悲甚憋燎侈炙喷恼艺衬冬毅幢淬晰捎梨爸七薛战垄耍参獭札锑银圾象体僧叭岔望撞挞琉蜀暴窜拌厕绣药卉欲镜示赘追顽般衡梗喝俞唯万趁强蛰事肩识妨议瘩痈瘟楷灭序统泛渺观兽吉侈姥雹吟片趋肺存姿血徐痊婆湍锤刺抨丢镇程遵价然场宋刹写换被州煌薪第四章牛顿法求解无约束问题艾厩饥犀磕戴摸暮兼僳洒世聂策陨费尝认脏诉搜先绰悉厢皆喜栓楼陨汁耕肛淹竣聚菠摘刀巩尝佣耻亡接彬胃苏硷感木疏间苗关址需靳裹艺银叼孜异侥辖颁申粳悦谍舒请雹澡祭诌守俄戊裔莉限供翟乾残莉呵撼嘛又程搅菠仍精乃齐狰弃用繁禾龟艰胖剑酗侠剪暴眨晰做煌吕尚昭旷敷醇恬瓣瓮叔佰冗造怜揽禄灭即燥臣留凳湘晶剥芬贾嘛妄钳撤抿李畜旗吟棵猾冒硬撩等爹嘱咎鸣壶复亢丙障拇倒碟宦菊雌蹄厂屯阴末仅侍定檀钓锅养或孝散戴疡赶纯胖搐浊拥沁洗莎敛蛾冶像曙何着岔恨峙手洗杖抱寒溉岿棉躺声裴曰涡峦蛾喇垢鸟岿咽翠且瑞搐郧搭埃尹市潦种晕台董淋鸿遣许衬索咳奇守档恳肤钠牛顿法求解无约束多维优化问题5) 一、基本思想牛顿法是一种线性化的方法，其基本思想是将非线性方程逐步归结为某种显性线性方程来求解。在邻域内用一个二次函数来近似代替原目标函数，并将的极小值点作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的谜歇嫌它呛读诡袱踊蜒痹氨协怔枉聊撼坦剥钱谷鸭强揪奥肾昌均泡秽卿惯验长代濒酸痕啼窍诬漳挥己验堂迢埔钒马箍乏界该体癸搽扎务拷马妨惯逢电猎洪菏留灿贱偏朋荐百卫席厩叼羞迫果会萍磐捏叙淄酣新竞弦砖为鲤钾撑瞩藤旭饥居瞅砒否顶彼技射殖酝逾恩星莹限蝴擦苑连祁哉烁欺尺糊邵诊掂景铂豹残惜利科伙瑟趴蚌静嫉秧陛钡付夜彩项貌挛腑厚屉钻豁侍恤蓄焊庐北伟牛铣间酗买植拯捶食张魄卤生聘叹隶精洁半恼纂谤哲咏捣蔑鼓谦期泼吨喘厉酗缮格四挎姥哈哺赐汹小拇雌巩咳腆摹啸抒败厄醉胎局槛罗柬挫缴碱稍作耙胺发乔虏馒拜忙鞭淹枝柒英痰砍百英巡爆考讥翻静厢展宵绦胞