基于BP神经网络的手写数字识别(共7页)

精选优质文档-倾情为你奉上基于BP神经网络的手写数字识别 成 员： 班 级： 指导老师：基于BP神经网络的手写数字识别摘要：为了提高数字识别的准确性和可靠性，将BP神经网络应用于数字识别，并考察了网络结构对系统实时性、识别效果的影响以及初始权值对收敛速度的影响，选取了最佳的隐层节点数和权值初始化函数， 实现了基于BP神经网络的数字识别系统。利用MATLAB进行仿真实验，实验结果表明该系统能够实现对数字的有效识别。关键词：手写数字识别；神经网络；BP算法Abstract: To improve the accuracy and reliability in handwritten digit recognition, we use BP neural networkKeywords: Handwritten Digit Recognition; ; BP algorithm一、引言手写体数字的识别是多年来的研究热点，它在邮政编码自动识别系统、税表和银行支票、数字出版、传播、数字签名等自动处理系统中应用广泛。国内外学者曾提出不少识别方法，但迄今还没有较简便的方案能达到较高的识别率与精度1。另一方面，神经网络技术以其抗噪声、容错、自适应、自学习能力强在数字识别领域中得到广泛应用。“反向算法”又称为“BP算法”是一种很流行的训练多层网络的方法，因为其功能强大，易于理解，其次因为其他很多训练方法都可以看作是对反向传播算法的一种变形或修改，所以本文采用BP神经网络进行手写数字识别。实验表明，识别率高达90%，达到了实验要求。二、BP神经网络1.BP网络的结构BP神经网络是一种典型的多层神经网络，其网络的基本结构如图1所示，它包含输入层、隐藏层及输出层，隐层可以为一层或多层，每层上的神经元称为节点或单元，它们由可修正的权值互连。除了连接输入单元，每个单元还连接着一个偏置。BP算法由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。图1：BP网络结构2.BP网络的学习 BP算法属于有监督式的学习算法，其基本思想是：根据训练样本和期望输出来设置合适的权值，不断的调整网络连接的权值，使误差达到实际的要求。隐含层单元和输出单元的净激活计算如下： (1) (2)每一个隐含层单元和输出单元都会产生一个输出分量，这个分量是它激活的非线性函数： (3) (4)网络的学习是从一个未训练的网络开始，向输入层提供一个训练模式，计算输出层的输出值。将输出值与目标值进行比较，任一差值对应一误差。该误差或准则函数是权值的某种标量函数，调整权值，使其向着减小误差值的方向变化，最终，当网络的误差或准则函数达到要求时，停止训练，固定权值。一个模式的训练误差为输出端的期望输出值（由教师信号给出）和实际输出值的差的平方和； (5)反向传播学习规则是基于梯度下降算法的，权值首先初始化为随机数，然后向着减少误差的方向调整，该学习规则保证学习一定可以收敛。权值的增量表示如下： (6)用隐藏层到输出层的权值分量与输入层到隐藏层的权值分量可以表示如下，其中，为学习率，表示权值的相对变化尺度。 (7) (8)有监督的训练就是给出一个类别标记已知的模式训练集找到网络的输出，并调整权值以使实际输出更加接近于期望的目标值。一般有三中最常用的“学习协议”：随机训练（stochastic），成批训练和在线训练。这里采用随机训练算法，训练中，模式随机地从训练集中取出，网络权值也根据不同的模式进行更新。其步骤如下: 图2：训练算法三、 BP网络的设计1.BP网络框架网络结构的设计主要包括网络层次、隐层神经元数和传递函数的设计。本系统中，选择3层的神经网络.输入层：系统中采用的输入数据为已经提取的特征数据，输入特征数据为8*8的矩阵，转换成641的矩阵，d=64，因此神经网络输入节点数为64，即输入层64个神经元。输出层：为了防止目标值达到饱和值，无法收敛到准则函数值，采用“C中取1”的方式表示目标值。+1表示目标类，-1表示非目标类。因此，输出层单元个数为识别的种类数10。隐藏层：隐藏层单元的个数决定了网络表达能力。对于隐藏层个数较大时，网络具有较高的表达能力，但对测试样本的误差率会高到令人无法接受的地步，即出现了“过拟合”。如果隐层单元个数太少，网络将不具备足够的自由度以较好的拟合训练数据，测试误差率仍然很高。目前没有什么可普遍使用的公式来决定隐层的单元个数。在这里，根据经验公式： (10) d 是特征值向量的维数，等于64，k是输出单元数10，m为0-10之间的常数，这里取5，=14；2.参数的设置激活函数激活函数一般要满足以下几个性质：1存在非线性。2是连续的，光滑的。3其导函数在整个自变量范围内具有相同的符号。所以一般采用sigmoid函数作为激活函数，实际中，下列函数可以很好的进行分类： （9）（其中 a=1.176, b=1.5）u 权值的初始化非均衡学习的一种形式是某种类别比其他类别先学习好，在这种情况下，误差率分布比贝叶斯情况相差很远，总的误差率通常高的不能接受。为了使网络可以快速和均衡的学习，所有权值几乎同时达到最终的平衡值，必须合理初始化权值。本文采用相同的分布，即一个范围内的均匀分布，来初始化所有的权值。以实现学习的均衡。其中 ， （10）u 冲量项在学习过程中，误差曲面通常有一些“平坦区”，这时候，学习速度很慢。为了使网络可以以更快的速度学习，我们引入了冲量项，此时，权值的变化如下，其中， （11）u 其他参数学习率，准则 误差准则函数为：四、试验结果我们的试验，采用了周围一些人手写的100张数字图片作为数据库。其中80（8个/数字）个用来做训练集，20（2个/数字）个作为测试集。其训练过程如图：图3：训练过程当我们输入要识别的图片，如果可以正确识别，则显示一张标准的数字图片。假如，我们输入了图片2-10.jpg,其结果如图：图4：识别过程分别对训练样本和测试样本进行测试，其识别结果如下表： 正确识别 错识 正确率测试集 18 2 90.00%训练集 79 1 98.75%表1：识别率的比较五、结论BP神经网络作为有导师学习的一种神经网络，是一个很有效的模式识别的分类器。在本文中，我们利用了BP网络，并对其参数进行了一些优化的设置，实现了手写数字识别。实验结果表明，识别率高达90%，基本上已经达到了实验要求。参考文献：1 李士勇模糊控制神经网络和智能控制论M哈尔滨：哈尔滨工业大学出版社，19962 边肇祺，张学工，等模式识别M北京：清华大学出版社，19993 闻新，周露，王丹力，等MATLAB神经网络应用设计M北京：科学出版社，200O4 张志涌精通MArl1BM53版北京：北京航空航天大学出版社，200O5 Rmnelhart D E，Hinton G E，Williams R JIeaming Represen tationsby BackPropagating EnorJNature，1986，323：5335366 Has m M HFundamentals of Artificial Neural NetworksMMITPress，1995专心-专注-专业