资源描述
梯度下降法,梯度下降法,又称最速下降法。1847年由著名的数学家柯西Cauchy给出。,基本思想,假设我们爬山，如果想最快的上到山顶，那么我们应该从山势最陡的地方上山。也就是山势变化最快的地方上山,同样，如果从任意一点出发，需要最快搜索到函数最大值，那么我们也应该从函数变化最快的方向搜索。,函数变化最快的方向是什么呢？,如果函数为一元函数，梯度就是该函数的导数,函数的梯度。,梯度下降法,如果为二元函数，梯度定义为：,如果需要找的是函数极小点，那么应该从负梯度的方向寻找，该方法称之为梯度下降法。,要搜索极小值C点，在A点必须向x增加方向搜索，此时与A点梯度方向相反；在B点必须向x减小方向搜索，此时与B点梯度方向相反。总之，搜索极小值，必须向负梯度方向搜索。,梯度下降法-步骤,假设函数只有一个极小点。初始给定参数为。从这个点如何搜索才能找到原函数的极小值点？,方法：,1.首先设定一个较小的正数，;,2.求当前位置处的各个偏导数：,3.修改当前函数的参数值，公式如下：,4.如果参数变化量小于，退出；否则返回2。,梯度下降法,例1任给一个初始出发点，设为x0=-4，利用梯度下降法求函数y=x2/2-2x的极小值。,(1)首先给定两个参数：,(2)计算导数：,(3)计算当前导数值：,(4)修改当前参数：,(5)计算当前导数值：,(6)修改当前参数：,梯度下降法,(7)计算当前导数值：,(8)修改当前参数：,(9)计算当前导数值：,(10)修改当前参数：,(11)此时变化量满足终止条件，终止。,梯度下降法,梯度下降法，要求E的极小点,取,梯度下降法,为学习率,所以,而其中的,且,所以,梯度下降法,且,所以：,令,梯度下降法,(1)假设，oj为输出层神经元输出,由于,梯度下降法,如果函数f为sigmoid函数,此时，权值的调整公式为：,所以:,梯度下降法,(2)假设，oj为隐含层神经元输出,由于,梯度下降法,由于,令,梯度下降法,且,所以:,如果函数f为sigmoid函数,
展开阅读全文