工程优化-第4章3课件

最优性条件最优性条件最速下降法最速下降法牛顿法及其阻尼牛顿法牛顿法及其阻尼牛顿法共轭方向法共轭方向法共轭梯度法共轭梯度法变尺度法（变尺度法（DFP算法和算法和BFGS算法）算法）第第第第4 4 4 4章章章章 无约束最优化方法无约束最优化方法无约束最优化方法无约束最优化方法无约束最优化问题：无约束最优化问题：设设 是对称正定矩阵，是对称正定矩阵，如果如果 则称向则称向量量p 和和q是是A共轭共轭的的(或称为或称为A正交正交)。如果对有限个向量如果对有限个向量 ，有，有共轭方向法共轭方向法共轭方向法共轭方向法-共轭方向及其性质共轭方向及其性质共轭方向及其性质共轭方向及其性质若若 则则p与与q是正交的。是正交的。定义定义定义定义1 1 定义定义定义定义2 2 则称这个向量组是则称这个向量组是A-共轭共轭(或或A正交正交)向量组，也称它们是一组向量组，也称它们是一组A共共轭方向。轭方向。共轭是正交的推广共轭是正交的推广共轭向量组是正交向量组的推广。共轭向量组是正交向量组的推广。性质性质性质性质2 2 若若Rn中的非零向量中的非零向量p1,p2,pm是是A共轭向量组，则这共轭向量组，则这m 个向量是线性无关的。个向量是线性无关的。性质性质性质性质3 3 在在n维空间中互相共轭的非零向量的个数不超过维空间中互相共轭的非零向量的个数不超过n。性质性质性质性质4 4 设设n元函数元函数f(x)=1/2xTAx+bTx+c,A=AT正定，又设正定，又设n维非零维非零 向量组向量组p1,p2,pn是是A共轭向量组，从任意点共轭向量组，从任意点x1出发，依出发，依 次以次以p1,p2,pn 为搜索方向进行精确一维搜索，则为搜索方向进行精确一维搜索，则 (1)f(xk+1)与与p1,p2,pk(k=1,2,n)正交；正交；(2)最多最多n次迭代必达到二次函数次迭代必达到二次函数f(x)的极小点。的极小点。性质性质性质性质1 1 在在n维空间中与维空间中与n个线性无关的向量都正交的一定是零向个线性无关的向量都正交的一定是零向 量。量。共轭方向法共轭方向法共轭方向法共轭方向法-共轭方向的性质共轭方向的性质共轭方向的性质共轭方向的性质性质性质性质性质4 4 设设n元函数元函数f(x)=1/2xTAx+bTx+c,A=AT正定，又设正定，又设n维非零向量组维非零向量组p1,p2,pn是是A共轭向量组，从任意点共轭向量组，从任意点x1出发，相继以出发，相继以p1,p2,pn 为搜索方向进行精确一为搜索方向进行精确一维搜索，则维搜索，则 (1)f(xk+1)与与p1,p2,pk(k=1,2,n)正交；正交；(2)最多最多n次迭代必达到二次函数次迭代必达到二次函数f(x)的极小点。的极小点。共轭方向法共轭方向法共轭方向法共轭方向法-共轭方向的性质共轭方向的性质共轭方向的性质共轭方向的性质定义：定义：定义：定义：一个算法若能在有限步内求得正定二次函数的极一个算法若能在有限步内求得正定二次函数的极 小点，则称该算法具有二次收敛性小点，则称该算法具有二次收敛性(又称二次终止性又称二次终止性)。由由性质性质4可知，若能找到一组可知，若能找到一组A共轭向量共轭向量p1,p2,pn 则前面提到的结合最速下降法和则前面提到的结合最速下降法和Newton法优点的算法就法优点的算法就找到了，就是找到了，就是共轭方向法共轭方向法，在下降迭代法中，若取下降方向是共轭方向，所得到在下降迭代法中，若取下降方向是共轭方向，所得到的方法我们称为的方法我们称为共轭方向法共轭方向法共轭方向法共轭方向法。怎么选取共轭方向？怎么选取共轭方向？这个算法具有二次收敛性。这个算法具有二次收敛性。共轭方向的生成与共轭梯度法共轭方向的生成与共轭梯度法共轭方向的生成与共轭梯度法共轭方向的生成与共轭梯度法 共轭方向的选取有很大任意性，而一组不同的共轭方向共轭方向的选取有很大任意性，而一组不同的共轭方向就对应着不同的共轭方向法。就对应着不同的共轭方向法。作为一种迭代算法，我们自然希望共轭方向能在迭代过作为一种迭代算法，我们自然希望共轭方向能在迭代过程中逐次生成。程中逐次生成。下面先以下面先以正定二次函数为例，介绍一种生成共轭方向的方正定二次函数为例，介绍一种生成共轭方向的方法法，再将这种方法推广到非二次函数上。，再将这种方法推广到非二次函数上。这种方法这种方法中每一个共轭向量都是依赖于迭代点处的负梯度中每一个共轭向量都是依赖于迭代点处的负梯度，因此称为因此称为共轭梯度法共轭梯度法，它，它是共轭方向法中的一种。是共轭方向法中的一种。令令 (2)若若 ，停止，停止，成的正交锥中找一个向量成的正交锥中找一个向量 ，即令，即令 使得使得 与与 共轭，即共轭，即由由共轭梯度法共轭梯度法共轭梯度法共轭梯度法(1)从任取初始点从任取初始点x1 出发，沿出发，沿负梯度方向负梯度方向进行精确一维搜索进行精确一维搜索:可得可得否则在否则在 和和 张张 (5)若若 ，停止，停止，成的正交锥中找一个向量成的正交锥中找一个向量 ，即令，即令 使得使得 与与 共轭，即共轭，即由由共轭梯度法共轭梯度法共轭梯度法共轭梯度法(3)在在x2 处沿处沿 p2 方向进行精确一维搜索，方向进行精确一维搜索，可得可得(4)以此类推，以此类推，否则在否则在 和和 张张共轭梯度法共轭梯度法共轭梯度法共轭梯度法这样便构造了一组向量这样便构造了一组向量 实际上，这组向量实际上，这组向量 是一个是一个A共轭向量组。共轭向量组。相邻两个向量是共轭的相邻两个向量是共轭的共轭梯度法共轭梯度法共轭梯度法共轭梯度法定理定理定理定理1 1：设向量组设向量组 是由上述方法产生的向量是由上述方法产生的向量 组，向量组组，向量组 是由各点的梯度生成的是由各点的梯度生成的 向量组，向量组，()则则 (1)是正交向量组；是正交向量组；(2)是是A共轭向量组。共轭向量组。共轭梯度法共轭梯度法共轭梯度法共轭梯度法定理定理定理定理1 1：设向量组设向量组 是由上述方法产生的向量组，向量组是由上述方法产生的向量组，向量组 是由各点的梯度生成的向量组，是由各点的梯度生成的向量组，()则则 (1)是正交向量组；是正交向量组；(2)是是A共轭向量组。共轭向量组。证明：证明：证明：证明：归纳法：归纳法：归纳法：归纳法：由由 的构造过程知，的构造过程知，是是A共轭的，即共轭的，即结论结论(2)成立；成立；利用精确一维搜索的性质知，利用精确一维搜索的性质知，而而故故结论结论(1)成立。成立。由假设可知，要证明由假设可知，要证明 时结论成立，只需证明时结论成立，只需证明(a)证明证明所以所以结论结论(a)成立，进而结论成立，进而结论(1)成立。成立。与与正交，正交，与与A共轭。共轭。与与正交正交;是是A共轭向量组，共轭向量组，利用性质利用性质4(1)可知，可知，性质性质性质性质4 4 设设n元函数元函数f(x)=1/2xTAx+bTx+c,A=AT正定，又设正定，又设n维非零向量组维非零向量组p1,p2,pn是是A 共轭向量组，从任意点共轭向量组，从任意点x1出发，相继以出发，相继以p1,p2,pn 为搜索方向进行精确一维搜索，则为搜索方向进行精确一维搜索，则 (1)f(xk+1)与与p1,p2,pk(k=1,2,n)正交；正交；因为因为(b)证明证明结论结论(b)成立，进而结论成立，进而结论(2)成立。成立。与与是是A共轭的共轭的;由由 的构造过程知，的构造过程知，与与是是A共轭的共轭的;下证下证与与是是A共轭的共轭的;共轭梯度法共轭梯度法共轭梯度法共轭梯度法定理定理定理定理1 1：设向量组设向量组 是由上述方法产生的向量组，是由上述方法产生的向量组，向量组向量组 是由各点的梯度生成的向量组，是由各点的梯度生成的向量组，()则则 (1)是正交向量组；是正交向量组；(2)是是A共轭向量组。共轭向量组。注：为保证方向的共轭性，初始方向取负梯度方向。注：为保证方向的共轭性，初始方向取负梯度方向。共轭梯度法共轭梯度法共轭梯度法共轭梯度法性质性质性质性质4 4 设设n元函数元函数f(x)=1/2xTAx+bTx+c,A=AT正定，又设正定，又设n维非零维非零 向量组向量组p1,p2,pn是是A共轭向量组，从任意点共轭向量组，从任意点x1出发，相出发，相 继以继以p1,p2,pn 为搜索方向进行精确一维搜索，则为搜索方向进行精确一维搜索，则 (1)f(xk+1)与与p1,p2,pk(k=1,2,n)正交；正交；(2)最多最多n次迭代必达到正定二次函数次迭代必达到正定二次函数f(x)的极小点。的极小点。是一个是一个A共轭向量组共轭向量组每一个搜索方向都依赖迭代点处的每一个搜索方向都依赖迭代点处的负梯度负梯度，对应的算法称为，对应的算法称为共轭梯度共轭梯度法法。共轭梯度法共轭梯度法共轭梯度法共轭梯度法存在问题：计算量、存储量都很大存在问题：计算量、存储量都很大 针对针对 f(x)=1/2xTAx+bTx+c,A=AT正定，最多正定，最多n次迭代达到极次迭代达到极小点找到了一组共轭方向：小点找到了一组共轭方向：针对一般的函数，将这组方向进行推广：针对一般的函数，将这组方向进行推广：直接对直接对(*)式推广：式推广：在正定二次函数在正定二次函数的前提下，将的前提下，将 变形变形怎么解决呢？怎么解决呢？能否将能否将 中的中的A去掉？去掉？定理定理定理定理2 2：设设 ，向量组，向量组 是由上述方法构造的是由上述方法构造的A共轭向量组，共轭向量组，利用前面，利用前面 所得的公式，得到几个等价的计算公式：所得的公式，得到几个等价的计算公式：共轭梯度法共轭梯度法共轭梯度法共轭梯度法利用定理利用定理1，可知，可知 是正交向量组，因此是正交向量组，因此(2)中中 ;并且并且 .共轭梯度法共轭梯度法共轭梯度法共轭梯度法 对于正定二次函数，上面得到的对于正定二次函数，上面得到的5个计算公式是等价的；个计算公式是等价的；这这5种共轭梯度法也是完全等价的；种共轭梯度法也是完全等价的；SW共轭梯度法共轭梯度法DM共轭梯度法共轭梯度法FR共轭梯度法共轭梯度法PPR共轭梯度法共轭梯度法介绍介绍FR共轭梯度法共轭梯度法Daniel共轭梯度法共轭梯度法简洁，用的最多简洁，用的最多更好用更好用 对于非二次函数，产生的搜索方向不再相同，对于非二次函数，产生的搜索方向不再相同，利用公式利用公式(2)-(5),(1)中含有中含有Hesse矩阵，通常不用矩阵，通常不用步骤步骤1.选定初始点选定初始点 。步骤步骤2.如果如果 ，算法停止，算法停止，否则转步骤，否则转步骤3。步骤步骤4.精确一维搜索找最佳步长精确一维搜索找最佳步长 ，令，令FRFR共轭梯度法的计算步骤共轭梯度法的计算步骤共轭梯度法的计算步骤共轭梯度法的计算步骤步骤步骤3.取取步骤步骤5.如果如果 ，算法停止，算法停止，否则否则步骤步骤6.如果如果k=n,令令 k=1，转步骤，转步骤4;否则转步骤否则转步骤7。步骤步骤7.计算计算 转步骤转步骤4。转步骤转步骤6。步骤步骤4.精确一维搜索找最佳步长精确一维搜索找最佳步长 ，令，令FRFR共轭梯度法的计算步骤共轭梯度法的计算步骤共轭梯度法的计算步骤共轭梯度法的计算步骤步骤步骤5.如果如果 ，算法停止，算法停止，否则转步骤，否则转步骤6。步骤步骤6.如果如果k=n,令令 算法停止算法停止,k=1，转步骤，转步骤4;否则转步骤否则转步骤7。步骤步骤7.计算计算 转步骤转步骤4。误差可能会使误差可能会使n步迭代得不到正定二次函数的极小点。步迭代得不到正定二次函数的极小点。Rn中共轭方向最多有中共轭方向最多有n个，个，n步后构造的搜索方向不再是共轭步后构造的搜索方向不再是共轭的的，会降低收敛速度，会降低收敛速度，步骤步骤6：重新开始技术：重新开始技术：xn+1作为新的作为新的x1FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法，已知初始点，已知初始点(1,1)T例题例题例题例题 用用用用FRFR共轭梯度法求下列问题的极值共轭梯度法求下列问题的极值共轭梯度法求下列问题的极值共轭梯度法求下列问题的极值解：解：1）第一次迭代：沿负梯度方向搜寻）第一次迭代：沿负梯度方向搜寻计算初始点处的梯度计算初始点处的梯度 迭代精度迭代精度 。FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法精确一维搜索求最佳步长，精确一维搜索求最佳步长，令令FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法得得不满足精度，继续迭代：不满足精度，继续迭代：2）第二次迭代：）第二次迭代：FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法精确一维搜索求最佳步长，精确一维搜索求最佳步长，因因得到最优解得到最优解:FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法令令得得 共轭梯度法对正定二次函数，具有二次收敛性；共轭梯度法对正定二次函数，具有二次收敛性；对非二次函数，由于目标函数的对非二次函数，由于目标函数的Hesse矩阵不再是常数矩矩阵不再是常数矩阵，因而产生的方向不再是共轭方向；阵，因而产生的方向不再是共轭方向；共轭梯度法在一定条件下也是收敛的，且收敛速度通常优共轭梯度法在一定条件下也是收敛的，且收敛速度通常优于最速下降法，具有较高的求解效率。于最速下降法，具有较高的求解效率。FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法 设设 f(x)存在连续一阶偏导数，且函数为凸函数，且水平集存在连续一阶偏导数，且函数为凸函数，且水平集 有界，则由共轭梯度法得到的点列有界，则由共轭梯度法得到的点列 有如下有如下性质：性质：(1)为严格单调下降序列，且为严格单调下降序列，且 存在；存在；(2)的任意聚点的任意聚点 都是都是 f(x)的最优解。的最优解。FRFR共轭梯度法共轭梯度法共轭梯度法共轭梯度法 共轭梯度法在无约束优化方法中占有重要的地位，是目共轭梯度法在无约束优化方法中占有重要的地位，是目前最常用的方法之一。前最常用的方法之一。收敛性收敛性收敛性收敛性定理：定理：定理：定理：(1)对凸函数全局收敛（下降算法）；对凸函数全局收敛（下降算法）；(2)计算公式简单，不用求计算公式简单，不用求Hesse矩阵或者逆矩阵，计算量矩阵或者逆矩阵，计算量 小，存储量小，每步迭代只需存储若干向量，小，存储量小，每步迭代只需存储若干向量，适用于大适用于大 规模问题规模问题；(3)具有二次收敛性；具有二次收敛性；(对于正定二次函数，至多对于正定二次函数，至多n次迭代可达最优解）次迭代可达最优解）共轭梯度法的特点共轭梯度法的特点共轭梯度法的特点共轭梯度法的特点 (4)Crowder和和Wolfe证明，证明，共轭梯度法的收敛速率不坏共轭梯度法的收敛速率不坏 于最速下降法于最速下降法。如果初始方向不用负梯度方向，则其收敛速率是线如果初始方向不用负梯度方向，则其收敛速率是线 性收敛的；性收敛的；(5)共轭梯度法是目前共轭梯度法是目前求解无约束优化问题最常用的方求解无约束优化问题最常用的方 法之一法之一。共轭梯度法的特点共轭梯度法的特点共轭梯度法的特点共轭梯度法的特点注：不同的注：不同的k公式，对于正定二次函数是等价的，公式，对于正定二次函数是等价的，对非正定二次函数，有不同的效果，对非正定二次函数，有不同的效果，经验上经验上PPR 效果效果 较好较好。作业：作业：作业：作业：P 100 4.9,4.10,4.12,4.13,4.14,P 100 4.9,4.10,4.12,4.13,4.14,4.17-4.19 4.17-4.19 Newton法和阻尼法和阻尼Newton法具有收敛速度快的优点，但法具有收敛速度快的优点，但需要计算需要计算Hesse矩阵的逆，矩阵的逆，计算量大，存储量也很大。计算量大，存储量也很大。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法 为减少计算量，用一个为减少计算量，用一个n阶阶对称正定矩阵对称正定矩阵Hk近似代替近似代替Hesse矩阵的逆矩阵的逆 ，即，即 ，从而搜索方，从而搜索方向是向是 ，由此搜索方向产生的方法称为变尺度法，由此搜索方向产生的方法称为变尺度法，Hk称为尺度矩阵，这是一种称为尺度矩阵，这是一种拟拟Newton法法，被认为是无约束优，被认为是无约束优化问题中最有效的方法之一化问题中最有效的方法之一。所谓拟所谓拟所谓拟所谓拟NewtonNewton法是指由法是指由法是指由法是指由NewtonNewton法的思想出发产生法的思想出发产生法的思想出发产生法的思想出发产生的一类方法。的一类方法。的一类方法。的一类方法。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法变尺度法的计算步骤变尺度法的计算步骤变尺度法的计算步骤变尺度法的计算步骤 步骤步骤步骤步骤1.1.任取初始点任取初始点x1,初始尺度矩阵初始尺度矩阵H1,令令k=1.步骤步骤步骤步骤2.2.计算计算 步骤步骤步骤步骤3.3.利用精确一维搜索找最佳步长利用精确一维搜索找最佳步长 ，步骤步骤步骤步骤4.4.令令 ，转步骤，转步骤2。其中其中 称为修正矩阵。称为修正矩阵。不同的修正矩阵，对应着不同的变尺度法。不同的修正矩阵，对应着不同的变尺度法。x1,H1对称对称0,k=1dk=-Hkf(xk)一维搜索得一维搜索得k xk+1=xk+k dk|xk+1-xk|?修正修正Hk产生产生Hk+1Stop.xk+1-解解k=k+1yN变尺度法的算法框架变尺度法的算法框架变尺度法的算法框架变尺度法的算法框架 构造构造 Hk的原则的原则 变尺度法的关键在于如何构造变尺度法的关键在于如何构造Hk，为了使算法有为了使算法有较快的收敛速度，需要满足以下几个原则：较快的收敛速度，需要满足以下几个原则：拟牛顿性质，拟牛顿性质，二次收敛性，二次收敛性，稳定性。稳定性。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法构造构造 Hk的原则的原则拟牛顿性质拟牛顿性质在在 点处对函数点处对函数 作二阶作二阶 Tayloy展开：展开：变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法 略去高阶项略去高阶项在在xk+1 附近，函数两端求导，得附近，函数两端求导，得令令 可得可得记记变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法Hesse矩阵矩阵 对称正定，又有对称正定，又有变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法称称(3)或或(4)为拟为拟Newton方程方程构造构造 Hk的原则的原则-拟牛顿性质拟牛顿性质当当 时，时，为了利用不包含二阶导数的矩阵为了利用不包含二阶导数的矩阵Hk取代取代 Hk+1满足满足构造构造 Hk的原则的原则-拟牛顿性质拟牛顿性质变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法拟牛顿方程（或条件）拟牛顿方程（或条件）,Hk+1 不唯一。不唯一。当当f是二次函数时是二次函数时当当f是二次函数时是二次函数时构造构造 Hk的原则的原则-二次收敛性二次收敛性把算法用于正定二次函数时，至多把算法用于正定二次函数时，至多n次达到极小点。次达到极小点。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法 构造的搜索方向构造的搜索方向 p1,p2,pn是一组是一组A 共轭共轭向量且向量且Hn+1=A-1.一个算法若不计算过程的舍入误差，在迭代的每一一个算法若不计算过程的舍入误差，在迭代的每一步都能选择步长使函数单调下降，则称此步都能选择步长使函数单调下降，则称此算法是稳定算法是稳定的。的。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法构造构造 Hk的原则的原则-稳定性稳定性 若方向若方向 是是f(x)在点在点xk处的下降方向，则每一处的下降方向，则每一迭代步总可以找到一个充分小的正数使得函数值下降，迭代步总可以找到一个充分小的正数使得函数值下降，即算法是稳定的。即算法是稳定的。迭代方向是下降方向，是保证算法稳定性的一个充分迭代方向是下降方向，是保证算法稳定性的一个充分条件。条件。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法构造构造 Hk的原则的原则-稳定性稳定性 迭代方向是下降方向，是保证算法稳定性的一个迭代方向是下降方向，是保证算法稳定性的一个充分条件。充分条件。什么条件能使迭代方向是下降方向？什么条件能使迭代方向是下降方向？即使得即使得 Hk对称正定对称正定 依据三个原则：依据三个原则：拟拟Newton方程、二次收敛性和算法稳定性，方程、二次收敛性和算法稳定性，要求要求Hk满足：满足：拟拟Newton方程、方程、对称正定、对称正定、且针对正定二次函数，且针对正定二次函数，是一组共轭方向组。是一组共轭方向组。变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法Hk构造的要求构造的要求 构造这样一个对称正定的近似矩阵构造这样一个对称正定的近似矩阵Hk的一般策略是：的一般策略是：(1)H1取为任意一个取为任意一个n阶对称正定矩阵，通常选取为阶对称正定矩阵，通常选取为n阶单位阶单位 矩阵矩阵 I;(2)然后通过修正然后通过修正Hk，给出给出 Hk+1，令，令变尺度法变尺度法变尺度法变尺度法-一类特殊的拟一类特殊的拟一类特殊的拟一类特殊的拟NewtonNewton法法法法Hk的构造策略的构造策略 构造不同的构造不同的Hk，也就是构造不同的修正矩阵，也就是构造不同的修正矩阵 ，得到不，得到不同的变尺度法。同的变尺度法。下面介绍下面介绍DFP变尺度法中变尺度法中Hk的构造过程。的构造过程。写在最后写在最后成功的基成功的基础在于好的学在于好的学习习惯The foundation of success lies in good habits45谢谢聆听 学习就是为了达到一定目的而努力去干,是为一个目标去战胜各种困难的过程,这个过程会充满压力、痛苦和挫折Learning Is To Achieve A Certain Goal And Work Hard,Is A Process To Overcome Various Difficulties For A Goal