资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,4,章 基于遗传算法的随机优化搜索,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,梯度下降法,梯度下降法,又称最速下降法。,1847,年由著名的数学家,柯西,Cauchy,给出。,根本思想,假设我们爬山，如果想最快的上到山顶，那么我们应该从,山势最陡,的地方上山。也就是山势变化最快的地方上山,同样，如果从任意一点出发，需要最快搜索到函数最大值，那么我们也应该从函数变化最快的方向搜索。,函数变化最快的方向是什么呢？,如果函数为一元函数，梯度就是该函数的导数,函数的,梯度,。,梯度下降法,如果为二元函数，梯度定义为：,如果需要找的是函数极小点，那么应该从,负梯度,的方向寻找，该方法称之为梯度下降法。,要搜索极小值,C,点，在,A,点必须向,x,增加方向搜索，此时与,A,点梯度方向相反；在,B,点必须向,x,减小方向搜索，此时与,B,点梯度方向相反。总之，搜索极小值，必须向负梯度方向搜索。,梯度下降法,-,步骤,假设函数 只有一个极小点。,初始给定参数为 。从这个点如何搜索才能找到原函数的极小值点？,方法：,1.,首先设定一个较小的正数,，,;,2.,求当前位置处的各个偏导数：,3.,修改当前函数的参数值，公式如下：,4. 如果参数变化量小于，退出；否那么返回2。,梯度下降法,例,1,任给一个初始出发点，设为,x,0,=-4,，利用梯度下降法求函数,y=x,2,/2-2x,的极小值。,(1),首先给定两个参数：,(2),计算导数：,(3),计算当前导数值：,(4),修改当前参数：,(5),计算当前导数值：,(6),修改当前参数：,梯度下降法,(7),计算当前导数值：,(8),修改当前参数：,(9),计算当前导数值：,(10),修改当前参数：,(11),此时变化量满足终止条件，终止。,梯度下降法,梯度下降法，要求,E,的极小点,取,w,ij,E,此时,w,ij,0,w,ij,梯度下降法,为学习率,所以,而其中的,且,net,j,w,ij,f(net,j,),o,2,o,1,o,i,所以,梯度下降法,且,所以：,令,w,ij,E,是什么呢？,梯度下降法,(1),假设，,o,j,为输出层神经元输出,由于,梯度下降法,如果函数,f,为,sigmoid,函数,此时，权值的调整公式为：,所以,:,梯度下降法,(2),假设，,o,j,为隐含层神经元输出,由于,梯度下降法,由于,令,net,k,o,1,j,o,2,o,k,w,jk,i,o,j,o,i,k,w,ij,梯度下降法,且,所以,:,如果函数,f,为,sigmoid,函数,
展开阅读全文