建模与仿真神经网络

什么是神经网络什么是神经网络神经网络方法神经网络方法在生物信息学中的应用在生物信息学中的应用神经网络在神经网络在matlab中的实现中的实现22023-2-8神经网络知识神经网络知识l人工神经网络人工神经网络对人脑或自然神经网络若干基本特性的抽对人脑或自然神经网络若干基本特性的抽象和模拟象和模拟 非局域性非局域性非线性性非线性性非定常性非定常性非凸性非凸性l神经网络的基本性质神经网络的基本性质l神经元神经元神经网络知识神经网络知识kmiikikbxwv 1)(kkvy mjjkjkxwv042023-2-8l传递（激活）函数类型传递（激活）函数类型阈值函数线性函数对数函数正切函数神经网络知识神经网络知识1 0()0 0 xf xx()fxkx1()(1)xf xe()tanh()f xxl神经网络结构神经网络结构神经网络知识神经网络知识iajblc62023-2-8神经网络分类神经网络分类前向网络反馈网络互联网络层内互联前向网络神经网络知识神经网络知识72023-2-8神经网络知识神经网络知识l神经网络模型神经网络模型感知器网络感知器网络线性神经网络线性神经网络BP网络网络径向基函数网络径向基函数网络反馈网络反馈网络自组织网络自组织网络神经元传递函数、网络学习函数、激活函数 不同net=newp()net=newlind()net=newff()net=newrbe()l网络训练函数网络训练函数神经网络知识神经网络知识trainbfgBFGS拟牛顿法trainbr贝叶斯方法traincgbPowell-Beale共轭梯度法traincgfFletcher-Powell 共轭梯度法traincgpPolak-Ribiere 共轭梯度法traingd梯度下降法traingda自适应速率梯度下降法traingdm动量梯度下降法trainlmLevenberg-Marquardt算法traingdx动量和自适应速率梯度下降法学习算法学习算法适用问题适用问题类型类型收敛性能收敛性能占用存占用存储空间储空间其他特点其他特点trainlm函数拟合收敛快误差小大性能随网络规模增大而变差trainrp模式分类 收敛最快较小性能随网络训练误差减小而变差trainscg函数拟合模式分类收敛较快性能稳定中等尤其适用于网络规模较大的情况trainbfg 函数拟合 收敛较快较大计算量随网络规模增大呈几何增大适用于“提前停止”方法，可提高网络推广能力神经网络知识神经网络知识l网络训练函数网络训练函数l网络权值、误差学习函数网络权值、误差学习函数神经网络知识神经网络知识mae绝对平均误差mse均方误差msereg规则化均方误差sse平方误差和l网络性能函数网络性能函数learpn标准化感知器学习规则learnwhLMS算法（近似梯度下降法）learngd梯度下降法learngdm 动量梯度下降法112023-2-8以任意精度逼近任何函数以任意精度逼近任何函数鲁棒性、容错性强鲁棒性、容错性强进行快速、大量运算进行快速、大量运算学习和自适应不确定的系统学习和自适应不确定的系统神 经 网 络 的 优 点神 经 网 络 的 优 点同时处理定性、定量知识同时处理定性、定量知识122023-2-8神经网络知识神经网络知识l神经网络主要应用领域神经网络主要应用领域模式识别模式识别信号处理信号处理知识工程知识工程专家系统专家系统优化组合优化组合机器人控制机器人控制132023-2-8奶 牛 产 奶 量 预 测奶 牛 产 奶 量 预 测l研究意义研究意义l研究进展研究进展l神经网络方法神经网络方法神经网络应用实例神经网络应用实例农场主关心什么先辈（竞争对手）做了什么142023-2-8初产奶牛产奶量预测初产奶牛产奶量预测l研究问题研究问题l研究数据研究数据l神经网络方法神经网络方法神经网络应用实例神经网络应用实例初产奶牛产奶量 亲代奶牛产奶量亲代奶牛30d、60d、90d、305d产奶量初产奶牛305d产奶量初产奶牛产奶量 初产奶牛营养量初产奶牛30d、60d、90d、305d营养量152023-2-8神经网络预测神经网络预测l训练集、测试集训练集、测试集交互检验交互检验 JackknifeJackknife检验检验采用标准集采用标准集随机选取随机选取GB126，CB25876个训练，12或1个预测方法检验方法检验162023-2-8l模型建立模型建立依据原则依据原则（1）网络规模持平于样本集大小（2）输入层、隐层的结点数比例为2:1（3）运算简单、易于理解神经网络方法神经网络方法神经网络模型结构神经网络模型结构l模型结构步骤模型结构步骤 一一三层BP网络结构输出节点数为1l模型结构步骤二模型结构步骤二训练样本数76输入节点数为7隐层采用S型传递函数采用标准训练、权值、性能函数网络模型结构网络模型结构l网络结构模型网络结构模型网络模型网络模型层数节点数传递函数输入层7正切函数线性函数隐含层10输出层1训练函数：traingdx 网络权值、误差学习函数：learngdm网络性能函数：mse是否是最好的选择方式是否是最好的选择方式192023-2-8神经网络预测神经网络预测l工作步骤工作步骤初始化网络权值矩阵和神经元阈值矩阵提供学习样本计算网络实际输出和隐层神经元输出计算误差对各层的影响修正权值和阈值计算网络输出误差判断误差是否满足要求结束训练202023-2-8神经网络程序实现神经网络程序实现lMATLAB神经网络工具箱神经网络工具箱主 要 程 序 设 计主 要 程 序 设 计Net=newff(PR,S1,S2,TF1,TF2,BTF,BLF,PF);PR=minmax(Original_data);%确定输入层输入数据的大小范围S1、S2;%分别为网络隐层、输出层神经元个数TF1、TF2;%分别为隐层、输出层传递函数BTF、BLF、PF;%分别为网络训练函数、学习函数和性能函数212023-2-8lMATLAB神经网络工具箱神经网络工具箱=mse;%设置性能函数为均方误差net.trainParam.goal=0.01;%设置性能目标值net.trainParam.epochs=25000;%设置最大训练步数net.trainParam.lr=0.02;%设置学习率设 置 各 性 能 目 标 值 如 下设 置 各 性 能 目 标 值 如 下神经网络程序实现神经网络程序实现222023-2-8神经网络程序实现神经网络程序实现lMATLAB神经网络工具箱神经网络工具箱主 要 程 序 设 计主 要 程 序 设 计Original_data=);net=train(net,Train_data,Train_target_data)；%网络训练Out_data(i)=sim(net,Test_data)；%网络仿真Target_data=);R,P=corrcoef(Target_data,Out_data)；%精度验证232023-2-8242023-2-8252023-2-8262023-2-8272023-2-8282023-2-8292023-2-81302023-2-871011312023-2-8322023-2-8332023-2-8-10-5051015-20246810R=0.72149P=9.8017e-015TAData PointsBest Linear Fit预测结果预测结果最后预测结果最后预测结果真实产奶量预测奶量342023-2-8对初始权重敏感，易收敛于局部极小对初始权重敏感，易收敛于局部极小收敛缓慢甚至不收敛收敛缓慢甚至不收敛隐层节点数不好确定隐层节点数不好确定过拟合过拟合/过训练问题过训练问题BP神经网络的缺点神经网络的缺点352023-2-8l动量法和自适应动量法和自适应学习率学习率调整调整共轭梯度法共轭梯度法l遗传算法优化遗传算法优化解决方案解决方案l其他网络：多层感知器网络、径向其他网络：多层感知器网络、径向 多层感知器网络、径向基函数网络多层感知器网络、径向基函数网络