神经网络及其应用 第五章 线性神经网络

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,神经网络及其应用,11月2日,第五章 线性神经网络,线性神经网络的特点,由假设干线性神经元组成,输出可以任意取值感知器只有0和1,只能解决线性别离问题,学习算法：Least Mean Square,应用范围：函数逼近、信号处理滤波、预测、模式识别和控制等,线性神经元,a=purelin(n)=purelin(Wp+b)=Wp+b,线性神经网络结构,多层和单层相当,线性神经网络分类的效果,没有延时的效果,生成线性神经网络,net=newlin(PR,S,ID,LR),PR：R2阶阵，表示R个输入的变化范围,S：表示网络中有s个感知器,ID：输入延时向量，默认为0,LR：学习率，默认为0.01,例一：创立一个线性神经网络,根据训练样本生成线性神经网络,net=newlind(P,T,Pi),P：RQ阶阵，表示Q个R维训练向量,T：SQ阶阵，表示Q个S维期望向量,Pi：初始输入延时记忆效果,相当于在最小二乘意义上解一个线性方程,W b*P;ones=T,例二：根据训练样本生成没有时延,延时,引入过去p个时刻的信息,有延时的线性神经网络,例三：根据样本集构建一个有延时的网络,用过去,p,个时刻的值来预测下个时刻的值,引入趋势信息，输出不再是直线,线性神经网络的学习算法,MSEMean Square Error，均方误差,线性神经网络的学习算法,Widrow-Hoff算法，又称LMSLeast Mean Square 算法，最小均方误差算法,目的：均方最小,方法：迭代,W(k+1)=W(k)+2e(k)p(k),B(k+1)=b(k)+2e(k),对应函数：learnwh,线性神经网络的学习算法,：学习率，,即迭代步长,学习率的意义,大学习速度快，但过大会振荡,小能保证精度，但是速度慢,学习率的选取依据：,必须小于输入向量相关矩阵,p,p,特征值的倒数,求最大稳定学习率函数：maxlinlr,网络训练,例四：通过样本对线性神经网络进行训练,步骤：,生成网络,设置训练向量,设置训练目标可接受误差,训练,应用线性网络可能出现的问题,超定系统,约束条件训练样本的个数大于未知数的个数,例五：超定系统两个变量四个训练样本,Errsurf：求误差曲面的函数单输出系统,Plotes：绘制误差曲面的函数,Plotep：在误差曲面上绘制当前w和b,Plotperf：绘制误差响应曲线,应用线性网络可能出现的问题,不定系统,约束条件训练样本的个数小于未知数的个数,例六：不定系统两个变量只有一个训练样本,可以有任意解无穷多个,应用线性网络可能出现的问题,线性相关向量,训练向量中有线性相关的向量，给出的检验答案不匹配,例七：三个训练样本线性相关，但加上答案后三个向量线性不相关,说明线性神经网络系统不能解决非线性问题,应用线性网络可能出现的问题,学习率过大,学习率大于最大稳定学习率,例八：大于最大学习率两倍的情况,学习率大于最大稳定学习率必不能得到最优解,学习率更大时会发散,线性神经网络的几种应用,预测,要求：设计一个线性网络，要求再每一个时间步长内，线性网络通过保存信号前5个时刻的值，预测出下一步的值,例九：以正弦信号为例，持续时间5s，采样频率为40次/s,可通过增加延迟信号量的方法来解决非线性问题,注意，当信号的非线性度非常强时不适用,线性神经网络的几种应用,自适应预测,要求：目标信号变化，预测信号也能随之变化,例十：建立能够根据输入信号自适应修正权和阈值的预测线性神经元网络,Adapt：自适应修正函数,提高采样频率可以提高预测精度,线性神经网络的几种应用,系统辨识,用于为实际系统建模,例十一：一个线性系统的输入输出，用线性神经元网络为其建模,根据输入和输出为模型定征,线性神经网络的几种应用,自适应系统辨识,当被辨识的线性系统发生变化时，线性神经元网络相应地自适应变化,例十二：建立能够根据输入信号自适应修正权和阈值的系统辨识线性神经元网络,也可用于分类，见DemoClassification,小结,线性神经元特征,线性神经网络特性单层,学习方法,应用领域,线性神经元网络可能遇到的问题,线性神经元网络常见的应用,