资源描述
Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,机械优化设计,2017,年,5,月,上,海,海,事,大,学,SHANGHAI MARITIME UNIVERSITY,何军良,第一页，共102页。,上海海事大学,Shanghai Maritime University,1909,2009,2004,1912,1958,7,机械优化设计中的几个问题,1,优化设计概述,2,优化设计的数学基础,2,目 录,CONTENTS,3,一维搜索方法,4,无约束优化方法,5,线性规划,6,约束优化方法,第二页，共102页。,补课时间(shjin)：周四11-13节,教室：3A103,第三页，共102页。,第二章 优化设计的数学(shxu)基础,矩阵(j zhn)运算,01,多元函数(hnsh)的方向导数与梯度,多元函数的泰勒展开,凸集、凸函数与凸规划,02,03,04,最优化问题的极值存在条件,05,第四页，共102页。,5,2.1 矩阵(j zhn),2.1.1 矩阵(j zhn)的概念,第二章 优化设计的数学(shxu)基础,设一线性方程组：,如果把上面式子中的系数按原来的顺序排列起来，记作下面的形式：,它就被称为矩阵，简记为,:,第五页，共102页。,6,2.1 矩阵(j zhn),2.1.1 矩阵(j zhn)的概念,第二章 优化设计(shj)的数学基础,由方阵,A,的全部元素构成的行列式，称为矩阵,A,的行列式，记为,|,A,|,。,应用,MATLAB,求解,A,=1,2,3;4,5,6;7,8,9,;,%,生成矩阵,A,det(,A,),%,求,A,的行列式,当方阵,A,的行列式,|,A,|,=0,称,A,为奇异方阵；当,|,A,|,0,则称,A,为非奇异方阵。,第六页，共102页。,7,2.1 矩阵(j zhn),2.1.1 矩阵(j zhn)的概念,第二章 优化设计的数学(shxu)基础,单位方阵：在,n,阶方阵中，当主对角均为,1,，其余各元素都为零，则称作单位矩阵，并用特定符号,E,表示，即：,在矩阵代数中，单位矩阵相当于一般代数中纯,1,的概念。,MATLAB,中，单位矩阵的命令是：,eye(n),第七页，共102页。,8,2.1 矩阵(j zhn),2.1.2 矩阵(j zhn)的转置,第二章 优化设计(shj)的数学基础,若将原矩阵,A,的行与列对换成列与行来写，就得到,A,的转置矩阵，用,A,T,表示，即：,同样，行矩阵的转置为列矩阵，列矩阵的转置为行矩阵，如：,应用,MATLAB,求解：,A,=1,2,3;4,5,6;7,8,9 ;,%,生成矩阵,A,A %,求,A,转置,第八页，共102页。,9,2.1 矩阵(j zhn),2.1.3 对称(duchn)方阵,第二章 优化设计的数学(shxu)基础,当方阵具有,A=A,T,，也即各元素满足,a,ij,=a,ji,的性质时，称,A,为对称方阵。其全部元素沿主对角线呈对称分布，例如：,第九页，共102页。,10,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,1,）矩阵相等,两个同阶数的矩阵,A,与,B,，它们的阶数相同，并且各对应元素完全相等，即,a,ij,=b,ij,，则该两矩阵称为相等，记作,A=B,。,（,2,）矩阵的加减,两个,同阶数,的矩阵,A,与,B,可以进行加减运算，其和或差,C,亦同阶矩阵。矩阵,C,中各元素为矩阵,A,、,B,中各对应元素之和或差。即：,则必有相对于元素的对应关系,矩阵加法还满足交换律和结合律，设有同阶矩阵,A,、,B,、,C,，则有：,第十页，共102页。,11,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计的数学(shxu)基础,（,3,）矩阵的乘法,若以数乘矩阵，得同阶矩阵,C,记,C=A,，规定,C,中各元素就是,A,中各元素乘以,，,即,c,ij,=,a,ij,。表达如下：,第十一页，共102页。,12,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计的数学(shxu)基础,（,3,）矩阵的乘法,若以两个矩阵,A,与相乘，则必须,A,的列数等于,B,的行数时才可以进行这种运算，它的乘积仍是一个矩阵,C,，,C,的行数同,A,，,C,的列数同,B,，,C,的第,i,行,j,列的元素,c,ij,等于,A,中第,i,行各元素,a,i1,a,i2,a,ip,与,B,中第,j,列各元素,a,1j,a,2j,a,pj,逐对相乘之积的总和，即：,第十二页，共102页。,13,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,3,）矩阵的乘法,例如：,第十三页，共102页。,14,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,3,）矩阵的乘法,关于矩阵乘积的某些性质：,（,1,）当两矩阵之积为,0,时，并不意味着其中之一必为零矩阵。,（,2,）当存在,AB=AC,的关系时，,B=C,的关系不一定成立。,（,3,）当矩阵,A,与单位方阵相乘时，其积仍为,A,，即,EA=A,或,AE=A,。,（,4,）乘积的转置,(AB),T,=B,T,A,T,。,第十四页，共102页。,15,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,4,）逆矩阵,对于一个,n,阶方阵,A,（非奇异方阵），如果另有一个,n,阶方阵,B,，能满足两者之积等于单位方阵，即,AB= E,时，则,B,叫做,A,的逆矩阵，记作,B=A,-1,。一个矩阵如果有逆矩阵，就叫它为可逆矩阵。逆矩阵是唯一的，由此推知：,由此看，,A,也是,A,-1,的逆矩阵。,应用,MATLAB,求解,A,=1,2,3;4,5,6;7,8,9 ; %,生成矩阵,A,inv(,A,) %,求,A,的逆,第十五页，共102页。,16,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,4,）逆矩阵,把数学方程组写成矩阵的形式,若矩阵,A,是非奇异的（即,|,A,|,0,），则,A,-1,以左乘上式等号两端，所以：,因有 ，则,这里，只要求出系数矩阵的逆阵,A,-1,，再求出乘积,A,-1,B,，即可求出未知量,X,。,第十六页，共102页。,17,2.1 矩阵(j zhn),2.1.4 矩阵(j zhn)的运算,第二章 优化设计(shj)的数学基础,（,4,）逆矩阵,在线性代数中将二次齐次函数称作二次型。其矩阵形式为：,式中，,G,是对称矩阵。如果对任何,X,0,的的向量都有,f,(,x,),0,，则称,f,为正定二次型，并称对称矩阵,G,正定。,对称矩阵,G,为正定的充要条件是,G,的各阶主子式都为正。,第十七页，共102页。,18,2.2 多元函数的方向(fngxing)导数与梯度,2.2.1 方向(fngxing)导数,第二章 优化设计的数学(shxu)基础,一个二元函数,f,(,x,1,x,2,),在点,X,0,(,x,10,x,20,),处的偏导数定义是,:,定义,：函数沿指定方向,d,的平均变化率的极限。,二元,函数,f,(,x,1,x,2,),在,X,0,(,x,10,x,20,),沿,d,方向导数,:,方向导数,第十八页，共102页。,19,2.2 多元(du yun)函数的方向导数与梯度,2.2.2 方向(fngxing)余弦,第二章 优化设计的数学(shxu)基础,即,:,第十九页，共102页。,20,2.2 多元(du yun)函数的方向导数与梯度,2.2.3 方向导数(do sh)与偏导数(do sh)的关系,第二章 优化设计的数学(shxu)基础,式中，,1,和,2,为,d,与,x,1,和,x,2,的夹角。,当,1,=,0,或,1,=,/2,时，方向导数分别为：,或,即为方向导数,第二十页，共102页。,21,2.2 多元函数的方向导数(do sh)与梯度,2.2.3 方向导数(do sh)与偏导数(do sh)的关系,第二章 优化设计(shj)的数学基础,对,n,元函数，仿此可得,式中， 为函数对各个坐标轴的偏导数；,为,d,对各坐标轴方向余弦。,方向导数表明函数沿某方向的变化率，它是一个标量。当其值为正时，函数值增加；当其值为负时，函数值减小。,三元函数,f,(,x,1,x,2,x,3,),在点,X,0,(,x,10,x,20,x,30,),沿,d,方向导数,:,三维空间中的方向,第二十一页，共102页。,22,2.2 多元函数的方向(fngxing)导数与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,定义,：方向导数变化最大的方向。,以二元函数为例，其方向导数为：,写成矩阵形式,式中， 为,d,方向的单位向量。 也是一个向量，称为,f,(,X,),记作,在,X,0,的梯度，它与方向,d,无关。,第二十二页，共102页。,23,2.2 多元函数的方向(fngxing)导数与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,式中，,因此，可将方向导数改写为,梯度的模为,如何推广到,n,维函数的梯度？,梯度的模,为,梯度的意义：,当 与,d,同向时，方向导数 为最大 ，沿此方向函数值增加最快。反向时，函数值下降最快。垂直时，方向导数为零，沿此方向，函数值不变。,和,分别为向量 和,d,的模,。,为两向量,的夹角,。,第二十三页，共102页。,24,2.2 多元(du yun)函数的方向导数与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,可得出如下结论：,1.,方向导数是梯度在指定方向上的投影；,2.,最速下降方向为等值线（面）的法线方向；,3.,梯度的模是最大的方向导数,负梯度方向是函数的最速下降方向,；,4.,在与梯度垂直的方向（等值线的切线方向）上，函数的变化率为零。,5.,与梯度方向成锐角的方向，函数值增加；成钝角的方向，函数值减小,。,第二十四页，共102页。,25,2.2 多元函数的方向导数(do sh)与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,例,2-1,求函数,f,(,X)=x,1,2,+ x,2,2,-4x,1,+4,在点,X,1,=,3 2,T,和点,X,2,=,2 0,T,处的梯度。,解：函数的等值线如图,由梯度定义可知：,在点,X,1,=3 2,T,处梯度为,：,该点梯度与,x,1,的夹角为,：,梯度是该点函数等值线的法线方向。,在点,X,2,=2 0,T,处的梯度为,：,梯度的分量都等于零，使得该点处的函数沿任何方向的方向导数也等于零。表明该点处函数值具有稳定性，此处的函数值就是极值，该点就是极值点,。,第二十五页，共102页。,26,2.2 多元函数(hnsh)的方向导数与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,例,2-1,求函数,f,(,X)=x,1,2,+ x,1,2,-4x,1,+4,在点,X,1,=,3 2,T,和点,X,2,=,2 0,T,处的梯度。,用,MATLBA,求解,syms x1 x2,%,将,x1,，,x2,设置为符号变量,f=x12+x22-4*x1+4;,%,写出函数表达式,fx1=diff(f,x1) ;,%,对,x1,求偏导数,;,fx2=diff(f,x2) ;,%,对,x2,求偏导数,;,x1=3; x2=2 ;,%,对,x1 ,x2,求偏导数赋值,;,g=fx1 fx2 ;,%,梯度,;,g=subs(g),%,把符号变量转为数值,第二十六页，共102页。,27,2.2 多元(du yun)函数的方向导数与梯度,2.2.4 梯度(t d),第二章 优化设计(shj)的数学基础,例,2-2,求函数,f,(,X)=x,1,2,+ x,1,2,-4x,1,-2x,2,+5,在点,X,0,=,0 0,T,和处函数变化率最大的方向和数值。,解：,第二十七页，共102页。,28,2.2 多元函数的方向(fngxing)导数与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,例,2-3,一般二元二次函数的矩阵式为,其中,c,为常数，求梯度,解：将二元二次函数的矩阵式展开,于是梯度,即,第二十八页，共102页。,29,2.2 多元函数的方向导数(do sh)与梯度,2.2.4 梯度(t d),第二章 优化设计的数学(shxu)基础,例,2-3,续,对于,n,元二次函数,其中,梯度,推广：,第二十九页，共102页。,30,2. 3 多元函数的泰勒(ti l)展开,2.3.1,一元函数的,Taylor,展开式,第二章 优化设计的数学(shxu)基础,研究函数的极值问题，主要研究函数在极值点附近的变化形态。在实际计算(j sun)中，常取前三项(二次函数)来近似原函数：,式中：,第三十页，共102页。,31,2. 3 多元函数的泰勒(ti l)展开,2.3.2 二元函数(hnsh)的Taylor 展开式,第二章 优化设计(shj)的数学基础,G(X,0,),函数,f,(,x,1,x,2,),在,X,0,处的海赛,（,Hessian,）,矩阵,第三十一页，共102页。,32,2.3 多元函数的泰勒(ti l)展开,第二章 优化设计(shj)的数学基础,例2-4 求二元函数f(x1,x2)=x12+ x22-4x1-2x2+5在 点处的二阶泰勒(ti l)展开。,解：,2.3.2,二元函数的,Taylor,展开式,第三十二页，共102页。,33,2.3 多元(du yun)函数的泰勒展开,第二章 优化设计的数学(shxu)基础,利用(lyng)MATLAB绘制该曲面：,x1=-5:5;x2=-5:5; %取值范围设定,x1,x2=meshgrid(x1,x2); %三维曲面的分格线坐标,f1=x1.2+x2.2-4.*x1-2.*x2+5;,surfc(x1,x2,f1) %绘制曲面(带等高线),此函数的图像是以,X,0,点为顶点的旋转抛物面,例,2-4,续,第三十三页，共102页。,34,2. 3 多元函数的泰勒(ti l)展开,2.3.3 多元(du yun)函数的Taylor 展开式,第二章 优化设计(shj)的数学基础,第三十四页，共102页。,35,2. 3 多元函数(hnsh)的泰勒展开,2.3.3 多元(du yun)函数的Taylor 展开式,第二章 优化设计(shj)的数学基础,函数,f,(,X,0,),在,X,0,处的梯度,海赛,(Hessian),矩阵,第三十五页，共102页。,36,2. 3 多元函数(hnsh)的泰勒展开,2.3.3 多元(du yun)函数的Taylor 展开式,第二章 优化设计的数学(shxu)基础,若将函数的泰勒展开式只取到线性项，即取：,当将函数的泰勒展开式取到二次项时,则得到二次函数形式。在线性代数中将二次齐次函数称作二次型。,矩阵形式,当对任何非零向量,x,使,则二次型函数正定，,G,为,正定矩阵,。,则,Z,(,x,),是过点,x,0,和函数,f,(,x,),所代表的超曲面相切的切平面。,第三十六页，共102页。,37,2. 3 多元函数(hnsh)的泰勒展开,2.3.3 多元(du yun)函数的Taylor 展开式,第二章 优化设计(shj)的数学基础,Hessian,矩阵与正定,Hessian,矩阵的特性：是实对称矩阵。,矩阵,正定,的充要条件：,矩阵,G,的各阶主子式都是正的,，即矩阵的主子式,det(ait),0,。,矩阵,负定,的充要条件：,矩阵,G,的,奇数阶,主子式,det(ait)0,，且,偶数阶,主子式,det(ait),0,Hessian,矩阵的正定性：,G,(,x*,),正定，是,x*,为全局极小值点的充分条件；,G,(,x*,),负定，是,x*,为全局极大值点的充分条件。,第三十七页，共102页。,38,2.3 多元函数的泰勒(ti l)展开,第二章 优化设计(shj)的数学基础,例2-5 判定(pndng)矩阵G= 是否正定,解：对称矩阵,G,的三个主子式依次为：,因此知矩阵,G,是正定的。,利用,MATLAB,求解,G,=6 -3 1;-3 2 0;1 0 4,a,=det(,G,(1,1),%,求,G,(1,1),行列式,b,=det(,G,(1:2,1:2),%,求,G,(1:2,1:2),行列式,c,=det(,G,),%,求,G,行列式,第三十八页，共102页。,39,2. 4 凸集、凸函数与凸规划(guhu),2.4.1,凸集,第二章 优化设计(shj)的数学基础,若任意(rny)两点X1,X2R，对于任意(rny)(0 10)，恒有:,*,若,Y,是,X,1,和,X,2,连线上的点，则有,整理后即得,凸集,非凸集,Y,X,2,X,1,则,R,为凸集。,第三十九页，共102页。,40,2. 4 凸集、凸函数与凸规划(guhu),2.4.2,凸函数,第二章 优化设计的数学(shxu)基础,设f(x)为定义在Rn内一个凸集D上的函数(hnsh)，若对于 ，对于任意 (0 10)及D上的任意两点x1,x2 ，恒有:,则,f,(,x,),为定义在,D,的凸函数。,（,1,）定义,第四十页，共102页。,41,2. 4 凸集、凸函数与凸规划(guhu),2.4.2,凸函数,第二章 优化设计的数学(shxu)基础,（2）凸函数的基本(jbn)性质,1.,设,F,(,x,),为定义在凸集,R,上的凸函数，,为任意正实数,则,F,(,x,),也是定义在,R,上的凸函数。,证：,由定义,两边乘上,2.,设,F,1,(,x,),，,F,2,(,x,),均,为定义在凸集,R,上的凸函数，则,F,1,(,x,)+,F,2,(,x,),也是定义在,R,上的凸函数。,证：,由定义,两式相加后整理可得证,第四十一页，共102页。,42,2. 4 凸集、凸函数与凸规划(guhu),2.4.2,凸函数,第二章 优化设计(shj)的数学基础,（2）凸函数的基本(jbn)性质,3.,设,F,1,(,x,),，,F,2,(,x,),均,为定义在凸集,R,上的凸函数，,1,，,2,为任意正实数，则,1,F,1,(,x,)+,2,F,2,(,x,),也是定义在,R,上的凸函数。,第四十二页，共102页。,43,2. 4 凸集、凸函数与凸规划(guhu),2.4.3 凸规划(guhu),第二章 优化设计(shj)的数学基础,（,2,）凸函数的基本性质,对于约束优化问题,若其中,f,(,x,),和,g,i,(,x,),均为凸函数，则这样的规划问题称为凸规划。,性质：,1,.,若给定一点,X,0,，则集合,R,=,X,|,f,(,X,), f,(,X,0,),为凸集。此性质表明，当,f,(,X,),为二元函数时，其等值线呈现大圈套小圈形式；,2.,可行域,R,=,X|g,j,(X) j=1,2,m,为凸集；,3.,凸规划的局部极小点一定是全局极小点。,第四十三页，共102页。,44,2. 5 最优化问题存在的极值(j zh)条件,2.5.1 无约束问题(wnt)的极值存在条件,第二章 优化设计(shj)的数学基础,1.,必要条件,即,（,1,）一元函数具有极小值的充要条件,（,2,）二元函数具有极小值的充要条件,第四十四页，共102页。,45,2. 5 最优化问题存在的极值(j zh)条件,2.5.1 无约束问题的极值(j zh)存在条件,第二章 优化设计的数学(shxu)基础,1.,充分条件,设,则,若,X,0,是极小点，因此需满足：,即要求,或要求,也就是海赛矩阵,G,(,X,0,),的各阶主子式大于,0,，即海赛矩阵正定。,第四十五页，共102页。,46,2. 5 最优化问题(wnt)存在的极值条件,2.5.1 无约束问题(wnt)的极值存在条件,第二章 优化设计的数学(shxu)基础,（,3,）多元函数具有极小值的充要条件,梯度为零向量,海赛矩阵正定,第四十六页，共102页。,47,2. 5 最优化问题存在的极值(j zh)条件,2.5.1 无约束问题(wnt)的极值存在条件,第二章 优化设计的数学(shxu)基础,例,2-6,求二元函数,f,(,x,1,x,2,),=x,1,2,+ x,1,2,-4x,1,-2x,2,+5,的极值。,解：根据必要条件求驻点,驻点,根据充分条件判断是否为极值点：,1,，,2,阶主子式大于,0,，,X,0,为极小点，,f,(,X,0)=0,。,第四十七页，共102页。,48,2. 5 最优化问题(wnt)存在的极值条件,2.5.2 等式约束问题(wnt)的极值存在条件,第二章 优化设计的数学(shxu)基础,为了便于理解，先讨论二元函数只有,1,个等式约束条件的情况，即,求解这一问题可以用代数中的,消元法。,根据等式约束，将一个变量,x,1,变成另一个变量,x,2,的函数关系,将,x,1,带入目标函数,f,中，消去,x,1,，变成一元函数,F,（,x,2,）,从而将等式约束变成无约束问题。,目标函数通过消元由二维降为一维，因此消元法也是,降维法。,（,1,）消元法（降维法）,第四十八页，共102页。,49,2. 5 最优化问题存在的极值(j zh)条件,2.5.2 等式(dngsh)约束问题的极值存在条件,第二章 优化设计的数学(shxu)基础,根据,l,个约束条件，可将,l,个变量用其余,n-l,个变量表示，,对于具有,l,个等式约束的,n,维优化问题,将这些函数关系代入到目标函数中，得到,n-l,个变量的无约束优化问题的新目标函数，即,F,（,x,l+1,x,l+2,x,n,）,。,第四十九页，共102页。,50,2. 5 最优化问题存在(cnzi)的极值条件,2.5.2 等式约束问题(wnt)的极值存在条件,第二章 优化设计的数学(shxu)基础,拉格朗日乘子法是求解等式约束优化问题的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题。所以又称作,升维法。,（,2,）拉格朗日乘子法（升维法）,对于具有,l,个等式约束的,n,维优化问题,求解等式约束优化问题转换成无约束函数的极值条件,k,为,拉格朗日乘子，,F,（,X, ,）,为,拉格朗日函数,第五十页，共102页。,51,第二章 优化设计的数学(shxu)基础,在极值(j zh)点x*处有：,将等式约束(yush)乘以待定系数k，有以下等式：,可以通过其中,l,个方程等于,0,，求解出,1,，,2,，,，,l,:,2. 5,最优化问题存在的极值条件,2.5.2,等式约束问题的极值存在条件,（,2,）拉格朗日乘子法（升维法）,第五十一页，共102页。,52,第二章 优化设计的数学(shxu)基础,那么(n me)，就余下的n-l个变量的微分项：,因为(yn wi)dxj是任意量，因此有：,因此，等式约束的必要条件是：,2. 5,最优化问题存在的极值条件,2.5.2,等式约束问题的极值存在条件,（,2,）拉格朗日乘子法（升维法）,第五十二页，共102页。,53,第二章 优化设计(shj)的数学基础,根据目标函数f(X)的无约束极值条件 ，则等式约束问题就可以(ky)转化为无约束的函数极值问题。其方法是引入新的目标函数：,其中(qzhng)，k为拉格朗日乘子。,2. 5,最优化问题存在的极值条件,2.5.2,等式约束问题的极值存在条件,（,2,）拉格朗日乘子法（升维法）,新目标函数,F(X),中显然多出了,l,个待定系数,k,（新的变量）,，,则函数的总的变量共有,n+l,个变量,。,但是,可提供,n,个方程，再与等式约束结合，足以求出,n+l,个变量。,第五十三页，共102页。,54,第二章 优化设计(shj)的数学基础,即,2. 5 最优化问题(wnt)存在的极值条件,2.5.2 等式约束问题的极值(j zh)存在条件,（,2,）拉格朗日乘子法（升维法）,由于,所以,所以,n+l,个变量可由下述,n+l,个方程求出,第五十四页，共102页。,55,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.2 等式约束问题的极值(j zh)存在条件,（,3,）拉格朗日乘子的物理意义,考虑二元函数只有,1,个等式约束条件的情况，即,表示成拉格朗日函数的形式，即,由公式,可得,即,第五十五页，共102页。,56,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.2 等式约束问题(wnt)的极值存在条件,（,3,）拉格朗日乘子的物理意义,上式中 是单位变量的目标函数变化率，而 则是单位变量的约束值变化率。可以称 为优化效率或敏度系数。,因为,所以各变量导致的优化效率是相等的，都等于常量,对于机械问题，若目标函数,f(x),是结构重量，约束条件是结构刚度或某点的变形，则 分别,表示？,结构重量的收益，结构刚度的支出,常量,表示？,单位刚度的支出能获得的结构重量的收益，反映刚度对重量的优化效率,第五十六页，共102页。,57,第二章 优化设计(shj)的数学基础,例2-7 求用消元法和拉格朗日乘子法分别计算在约束条件 h(x1,x2)=2x1+3x2-6=0的情况(qngkung)下，目标函数f(x1,x2)=4x12+5x22的极值点坐标。,解,：（,1,）,消元法,令,改造(gizo)目标函数,则,解得：,（,2,）,拉格朗日乘子法,因,2. 5,最优化问题存在的极值条件,2.5.2,等式约束问题的极值存在条件,第五十七页，共102页。,58,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,1,）基本思路,求解不等式约束优化问题的,基本思想,：,具体做法,：,将不等式约束条件变成等式约束条件。,引入,松弛变量,。,第五十八页，共102页。,59,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,2,）一元函数在给定区间上的极值条件,对于一元函数,f(x),在给定区间,a,b,上的极值优化问题 ：,转换成等式约束：,松弛变量,拉格朗日函数：,拉格朗日乘子,第五十九页，共102页。,60,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,2,）一元函数在给定区间上的极值条件,拉格朗日函数：,对应于不等式约束条件的拉格朗日乘子，应满足非负要求,根据拉格朗日乘子法,可得,第六十页，共102页。,61,第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,2,）一元函数在给定区间上的极值条件,由于,有,2,种情况,情况,1,：,则,约束不起作用,情况,2,：,则,约束起作用,说明,和,至少有一个取,0,可改写成,因此,可改写成,同理,第六十一页，共102页。,62,第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,2,）一元函数在给定区间上的极值条件,极值条件,下面,2,个条件为什么不需用了？,3,个方程解,3,个未知数已经够了,第六十二页，共102页。,63,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题(wnt)的极值存在条件,（,2,）一元函数在给定区间上的极值条件,极值条件,一元函数在区间,【a,b】,上的极值条件可以转化,情况,1,：当,ax*b,时，因为,则极值条件为,？,情况,2,：当,a,x*,时，因为,则极值条件为,情况,3,：当,b,x*,时，因为,则极值条件为,第六十三页，共102页。,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束问题(wnt)的极值存在条件,（,2,）一元函数在给定区间上的极值条件,64,第六十四页，共102页。,第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题(wnt)的极值存在条件,（,2,）一元函数在给定区间上的极值条件,65,极值条件,起作用约束的下标集合,：,情况,1,：当,ax*b,时，两个约束均不起作用,情况,2,：当,a,x*,时，第一个约束起作用,情况,3,：当,b,x*,时，第二个约束起作用,结论：在极值条件中，只考虑起作用的约束及其相应的拉格朗日乘子,第六十五页，共102页。,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,3,）库恩塔克条件,66,多元函数不等式优化问题模型,：,参考一元函数不等式优化问题极值的条件，用拉格朗日乘子法推导出相应的极值条件，新的拉格朗日函数如下：,拉格朗日乘子：,松弛变量：,第六十六页，共102页。,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,3,）库恩塔克条件,67,参考一元函数的条件，得出多元函数不等式约束问题的极值条件,库恩,塔克条件,第六十七页，共102页。,极值条件,库恩塔克条件(tiojin),第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3,不等式约束问题的极值存在条件,（,3,）库恩塔克条件,引入起作用的约束条件后的极值条件如下：,68,第六十八页，共102页。,极值条件,库恩塔克条件(tiojin),第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3,不等式约束问题的极值存在条件,（,3,）库恩塔克条件,几何意义：,在约束极小值点,x*,处，函数,f(x),的负梯度一定可以表示成所有起作用约束在该点的梯度（法向量）的非负线性组合。,69,第六十九页，共102页。,几何(j h)意义,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3,不等式约束问题的极值存在条件,（,3,）库恩塔克条件,x,k,是极值点，所以,x,k,必须落在,g,1,(x),=0,和,g,2,(x),=0,的交线上。,和 、 线性相关且,3,者共面,70,第七十页，共102页。,几何(j h)意义（二维）,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,3,）库恩塔克条件,第二章 优化设计的数学基础,落在 和 形成的锥角区外的一侧,从,x,k,出发向切平面的 方向移动时，目标函数值减小，且不破坏约束条件，因此,x,k,出不是稳定最优点，不是约束最优点，也不是局部极值点。,71,第七十一页，共102页。,几何(j h)意义（二维）,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,3,）库恩塔克条件,第二章 优化设计的数学基础,落在 和 形成的锥角之内,x,k,出是稳定最优点，是约束最优点或局部极值点。,72,第七十二页，共102页。,几何(j h)意义（N维）,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,3,）库恩塔克条件,第二章 优化设计的数学基础,在局部极小点,x,k,处,目标函数的负梯度能表示成有效约束梯度的非负组合,即目标函数的负梯度属于有效约束的梯度所生成的凸锥内,.,73,第七十三页，共102页。,结论(jiln)：,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,3,）库恩塔克条件,第二章 优化设计的数学基础,（,1,） 在极值点处 和 以及 线性相关，或者说 可以看成 和 的线性组合,（,2,） 如果,x,k,是极小点，那么目标函数的负梯度 一定位于两个约束函数的梯度形成的夹角内，或者说他们的线性组合系数是正的，即,74,第七十四页，共102页。,同时(tngsh)具有等式和不等式约束的优化问题：,库恩塔克条件(tiojin)：,2. 5 最优化问题存在的极值(j zh)条件,2.5.3,不等式约束问题的极值存在条件,（,3,）库恩塔克条件,第二章 优化设计的数学基础,式中：,k,为对应于等式约束的拉格朗日乘子（无非负）,k,为对应于不等式约束的拉格朗日乘求子（非负）,75,第七十五页，共102页。,76,第二章 优化设计的数学(shxu)基础,判断有约束问题的极值点是否存在的条件(tiojin)采用库恩-塔克条件(tiojin)。,库恩-塔克(K-T)条件(tiojin)中心思想：,目标函数在该点的负梯度应该为在该点,起作用的条件约束的梯度的线性组合。,对于等式约束它一定是起作用约束，对于不等式约束，需要看最优点是否落在约束的边界上，如左图，,g,2,是有作用约束，右图最优点在,g,1,g,2,交点处，,g,1,g,2,都是起作用约束。,2. 5,最优化问题存在的极值条件,2.5.3,不等式约束问题的极值存在条件,（,3,）库恩塔克条件,第七十六页，共102页。,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,4,）库恩塔克条件举例,对于如下约束优化问题 ，利用,K-T,条件求极值,画出目标函数的等值线和可行域,77,第七十七页，共102页。,78,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,4,）库恩塔克条件举例,解法,1,：,根据,K-T,条件，直接解联立方程,极值点,x,k,待求，所以起作用约束难以判断只能根据各种可能情况进行试验。共,8,种可能性。,情况,1,：,g1,、,g2,、,g3,都是起作用约束,第七十八页，共102页。,79,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束(yush)问题的极值存在条件,（,4,）库恩塔克条件举例,极值条件,g1,、,g2,、,g3,是,矛盾方程，无解,第七十九页，共102页。,80,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,4,）库恩塔克条件举例,情况,2,：,g1,、,g2,是起作用约束,极值条件,不满足,g3,，因此,带回方程,1,、,2,，满足,由方程,3,、,4,求得,是极值点,第八十页，共102页。,81,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3 不等式约束问题(wnt)的极值存在条件,（,4,）库恩塔克条件举例,情况,3,：,g1,、,g3,是起作用约束,极值条件,带回方程,1,、,2,，,由方程,3,、,4,求得,不是极值点,不满足不等式约束拉格朗日乘子非负的要求,第八十一页，共102页。,82,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题(wnt)的极值存在条件,（,4,）库恩塔克条件举例,情况,4,：,g2,、,g3,是起作用约束,极值条件,带回方程,1,、,2,，,由方程,3,、,4,求得,不是极值点,不满足不等式约束拉格朗日乘子非负的要求,第八十二页，共102页。,83,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在(cnzi)的极值条件,2.5.3 不等式约束问题的极值存在(cnzi)条件,（,4,）库恩塔克条件举例,情况,5,：,g1,是起作用约束,极值条件,因为仅,g1,起作用，因此,g2,不起作用，即,-x,2,*,0,，因此,1,0,，不满足非负要求，故此点不是极值点,由方程,1,、,2,求得,第八十三页，共102页。,84,第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,4,）库恩塔克条件举例,情况,6,：,g2,是起作用约束,极值条件,不满足,g1,约束，故此点不是极值点,由方程,1,、,2,、,3,求得,第八十四页，共102页。,85,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3 不等式约束问题的极值(j zh)存在条件,（,4,）库恩塔克条件举例,情况,7,：,g3,是起作用约束,极值条件,3,0,(1),在点 处,g1(x)0,和,g2 (x)0,是有效约束；,g3(x)0,是非有效约束,.,(2),的非有效约束,g3(x)0,对 处的可行方向没有影响，,故非有效约束也称为不起作用的约束,.,第九十四页，共102页。,定理,:,考虑无约束最优化问题,几何最优性条件(tiojin)一阶必要条件(tiojin),第二章 优化设计(shj)的数学基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3,不等式约束问题的极值存在条件,（,5,）其他问题,95,第九十五页，共102页。,几何(j h)最优性条件一阶必要条件,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3,不等式约束问题的极值存在条件,（,5,）其他问题,96,定理：,在不等式约束问题中，假设：,(1),为局部最优解且,(2),与,在,点可微；,(3),在,点连续；,则,仅考虑在某点起作用的约束,第九十六页，共102页。,几何(j h)最优性条件一阶必要条件,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3,不等式约束问题的极值存在条件,（,5,）其他问题,97,例：,确定,在点,处的可行下降方向,.,解：,第九十七页，共102页。,几何(j h)最优性条件一阶必要条件,第二章 优化设计(shj)的数学基础,2. 5 最优化问题存在的极值(j zh)条件,2.5.3,不等式约束问题的极值存在条件,（,5,）其他问题,98,设,第九十八页，共102页。,几何(j h)最优性条件一阶必要条件,第二章 优化设计的数学(shxu)基础,2. 5 最优化问题(wnt)存在的极值条件,2.5.3,不等式约束问题的极值存在条件,（,6,）,Fritz John,条件,99,定理,设,为不等式约束问题的局部最优解且,在,点可微，,则存在非零向量,使得：,第九十九页，共102页。,几何(j h)最优性条件一阶必要条件,第二章
展开阅读全文