基于MATLAB的车牌识别系统设计

.本科毕业设计题目基于MATLAB的车牌识别系统设计作 者： 邹思凡 专 业： 自动化(本一) 指导教师： 徐一鸣 完成日期： 2016年6月1日 原创性声明本人声明：所呈交的论文是本人在导师指导下进展的研究成果。除了文中特别加以标注和致的地方外，论文中不包含其他人已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何奉献均已在论文中作了明确的说明并表示了意。 签 名：日 期：本论文使用授权说明本人完全了解大学有关保存、使用学位论文的规定，即：学校有权保存论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或局部容。的论文在解密后应遵守此规定学生签名：指导教师签名：日期： . .南 通 大 学毕 业 设 计论文题目： 基于MATLAB的车牌识别系统设计 姓 名： 邹思凡指导教师： 徐一鸣专 业： 自动化(本一) 大学电气工程学院2016 年6月1日. .摘 要近几年，随着现代社会的开展，汽车数量越来越多，研究智能交通系统是势在必行。其应用场合包括：违章车辆抓拍、不停车自动收费、交通流量检测、停车场车辆管理、失窃车辆查询等方面，具有巨大的市场前景及商业价值。车牌识别系统在智能交通系统中的地位举足轻重。基于MATLAB的车牌识别系统需要识别车牌图像，其中要涉及到图像处理技术、人工神经网络、模式识别技术。本文简要介绍了国外车牌识别系统的研究现状和开展趋势，并结合车牌识别的各模块，选择了相应的算法。利用MATLAB软件仿真到达了图像预处理、车牌定位、车牌字符分割和车牌字符识别四大模块的效果。 仿真结果证明，本次设计的车牌识别系统根本能够实现车牌识别、车牌定位、字符分割及字符识别的功能。本实验共对60车牌图片进展了识别，其中总共包含了420个字符，识别中错误字符38个，正确率到达了90.5% 。本系统根本可以满足车牌识别的各个功能，可以应用于实际生活中。关键词：车牌识别，车牌定位，字符识别，字符分割，MATLABABSTRACTLast few years, with the development of modern society, the increase of city vehicles is rapid and the further research of the Intelligent Transportation System is increasingly important. Its applications include: electronic policeman, electronic toll collection system, traffic flow control, parking lot management, stolen vehicle inquiry, etc. It has a broad market prospects and mercial value. The License Plate Recognition System plays a pivotal role in the Intelligent Transportation System. The License Plate Recognition System based on MATLAB needs to recognize the license plate and it involves image processing, artificial neural networks, pattern recognition technology and some other fields.This article introduces the current research situation, the development trend of domestic and foreign license plate recognition system and selects the appropriate algorithms bined with each module of the license plate recognition system. We use the MATLAB software simulator and achieve good effects of four modules which are the image preprocessing, license plate location, license plate character segmentation and license plate character recognition.The simulation result shows that this license plate recognition system designed basically achieved the function of the license plate recognition, license plate location, character segmentation and character recognition. In this study, a total of 420 license plate images are identified, which contains 38 wrong characters, with the correct rate reaching to 90.5%. The system can basically meet the various functions of license plate recognition and it can be applied to real life.Key words: license plate location, character recognition, character segmentation, MATLAB目录摘 要IABSTRACTII第一章 绪论11.1课题背景及意义11.2 智能交通系统概述11.3 车辆识别技术简介21.4 车牌识别系统组成与设计31.5本论文主要研究容5第二章 车牌图像预处理62.1 引言62.2 图像格式转换及尺寸归一化62.3 图像灰度化72.4 边缘检测92.5 图像的二值化102.6 数学形态学处理14第三章 车牌定位及字符分割163.1 引言163.2 车牌定位算法简介163.3 本文车牌定位算法173.4车牌倾斜矫正173.5 车牌边框的去除203.6 车牌字符分割203.6.1 车牌的规格203.6.2车牌分割算法21第四章 车牌字符识别234.1引言234.2 车牌字符识别常用方法234.2.1基于模板匹配的字符识别算法234.2.2 基于支持向量机的字符识别算法244.2.3 基于人工神经网络的字符识别算法254.3 BP神经网络的构造264.4 BP神经网络在车牌识别中的应用274.4.1 特征提取274.4.2 BP 神经网络的构造与设计284.4.3 网络训练284.5实验结果29第五章 总结与展望345.1 总结345.2 展望34参考文献35致 36. .第一章绪论1.1课题背景及意义伴随着经济的持续开展，人民生活质量的日益改善，汽车数量的急速增加导致道路交通越来越拥挤。在这种情况下，仅仅依靠投入大量的资金到公路等交通根底设施的建立之中，已经远远不能解决交通拥堵、交通事故发生率居高不下、环境污染等一些日益严重的问题。此外，由于城市空间的限制、修建新的道路所需要的巨额资金以及环境的压力，建立更多根底设施必然受到严格的限制。因此，如何改善道路交通现状已经成为现代交通系统中刻不容缓的问题。所以，要想从根本上解决问题必须利用高新技术如计算机、网络、通信技术、自动化技术等来改造现有的道路运输系统及其管理体系。此时，智能交通系统 (Intelligent Traffic System，简称ITS)顺应时代要求出现了，它大改善了道路交通的现状。1.2 智能交通系统概述起初，智能交通系统Intelligent Transportation Systems , ITS是由智能车辆道路系统Intelligent Vehicle Highway System , IVHS开展而来。智能交通系统是一个实时的综合管理系统，它涉及了计算机技术、控制技术、信息技术等领域的知识，应用于各种场合1。自20世纪80年代开场，人们就已经开场利用图像处理技术领域的相关知识来解决车牌识别的问题，只不过此时的研究还处于起步阶段，未能到达理想的效果。直到20世纪90年代初，随着计算机视觉的开展，ITS才开场成为一个正式的具有一定意义的名词。进入90年代后，美国、欧洲、日本、加拿大、国、新加坡和等国家和地区为了改善越来越严峻的道路交通情况，开场投入巨额资金和大量精力到ITS的开发和研究中，这一举措极推动了ITS的深入研发。在当今世界的世界交通领域里，智能交通系统的开展始终代表着最先进的课题研究方向，兴旺国家正在深入研究和开发车牌识别系统，目的是治理交通问题并改善环境，运用传感器、计算机等领域的知识解决难题更好地实现现代道路交通系统的智能化2。不可防止地，我国也正在大力地深入研发智能交通系统，并将其作为交通运输领域的长期的研究课题。智能交通系统被广泛地应用于各种公共场所，例如停车场、机场、公路实时管理系统等等。ITS在全世界围都被大量应用，其中包括一些兴旺国家和地区，例如美、日、欧、北上广国的、。ITS是一个融合了多个子系统的综合性体系，其中包括了监控系统、控制系统、运营管理系统等。从起初开场研究智能交通系统，美国和欧洲等一些兴旺国家和地区就很关注ITS的开展。美国和欧洲是全世界最兴旺的国际和地区，已经对ITS的体系框架进展了整体设计，并取得了长足的进步，因此在美、欧地区ITS的开展和应用最为先进和完备。在亚洲，日本人口众多但国土面积不够，迫切的需要研发出更为先进的智能交通系统并将其应用于各种公共场所之中。国和新加坡也不断加大投资本钱，用于研究和开发适合本国国情的智能交通系统。其中国政府曾投入75亿的巨资来建立7个智能交通系统的子系统。国早在上个世纪就投入到了智能系统的研究，当时被称为交通工程。在国大量的研究人员一直致力于开发出一套先进且高效的ITS，现在已经取得了可观的成果。在全世界围，美国的ITS覆盖率和应用率毋庸置疑的是最高，保守统计至少在百分之八十甚至不止。因为智能交通系统极缓解交通问题而且还带来了可观的利益回报，所以世界各国纷纷斥资研发智能交通系统3。ITS的开展极推动了经济的持续开展，ITS业甚至成为一个重要的经济增长点。1.3 车辆识别技术简介在很多公共场合，车牌识别系统被大量的应用，例如测速系统、收费系统等等。目前可使用的汽车图像检测方法有很多，其中利用率比拟高的是：使用红外探测装置进展检测的方法、使用超声波装置识别的方法、使用感应线圈检测等等4。在国外研究人员的深入研发，车牌识别技术自提出到开展至今，已经形成了比拟完备的体系并得到了广泛的应用。但是由于外部环境的影响、摄像技术有待提高、清晰度不够带来的问题、破损污旧车牌识别难度较大、车牌缺乏统一的标准等不利条件的影响，导致车牌识别难以到达预想的识别效果，而且由于通常需要大量数值计算，难以满足实时性上的要求。国外研究人员很早就开场致力于研发车牌识别系统，目前国研发出的ITS还不如国外的先进。直到今天，国外研发出的ITS已经比拟完备，例如日本开发的VICS系统以，的Asia Vision Technology公司推出的VECON，新加坡Optasia公司设计的VLPRS系列，以色列的Hi.Tech公司开发的See/Car System等。我国的汽车牌照中包含汉字、大写的英文字母和阿拉伯数字，识别难度比国外的汽车牌照高得多，所以国外的车牌识别系统不能适用于我国的车牌识别。我国研究车牌识别系统比国外晚了将近20年左右，但是我国的研究成果也不容小觑，郭杰，施鹏飞研制出了一种精准的定位算法，这种方法借助车牌的颜色信息和纹理特征实现功能；学春，戚飞虎采用颜色信息对待分割物体进展字符分割，研究出了一种高效的自动识别技术。此外，国的许多科研单位已经开发出了比拟完备的车牌识别系统，例如亚洲视觉科技，弗雷德科技等。近年来，在国，有一些大学和科研机构也对于本课题的研究进展了尝试。从目前已经发表了的论文来看，主要有交大、浙大、同济大学等院校正在研究这一课题。伴随着模式识别和信息技术的开展，车牌识别系统的开展日臻完善，本论文采用了一些近几年才提出的算法，例如利用数学形态学算法对车牌进展边缘检测，采用BP神经网络等等。但是因为该课题研究存在着一定的难度，并且车牌易受噪声和光照等干扰条件的影响，所以到现在为止，还未研发出一套极为完备且识别率高达百分百的算法。随着对车牌识别系统迫切需求的不断增加，人们对车牌识别率的期望值也不断变高，目前，对该领域的研究仍然很活泼。根据目前已应用车牌识别系统的场合的反应情况来看，其存在的缺乏之处主要是车牌识别时，执行时间太长导致实时性不高以及识别效果不理想。因此，车牌识别率的上下和执行时间的长短是未来车牌识别技术中亟待解决的问题和两个重点研究技术。它们是衡量ITS的性能优劣的重要指标，它们受系统的硬件性能和识别算法的制约。鉴于本文研究的基于软件仿真根底的车牌识别技术，所以只需考虑综合优化的算法来改善系统性能即本文研究的关键技术就是车牌的识别率和执行速度。1.4 车牌识别系统组成与设计车牌识别技术是一门图像处理、数据压缩以及模式识别等方法的综合性技术，其核心技术就是把准确地提取出图像中的车牌，并且正确地识别出车牌。ITS涉及到原始图像识别、图像预处理、车牌区域的定位、车牌区域的字符分割以及车牌区域的字符识别等几个模块，本论文研究的基于MATLAB的车牌识别系统设计的识别流程如图1.1所示5。图1.1 车牌识别流程图本文通过MATLAB软件设计了一个车牌识别的仿真系统，该程序成功地到达了准确识别实际车辆照片中的车牌的目的，其中不包括硬件采集局部。本仿真系统所需实现的功能分别为 ： (1) 图像预处理：可以利用智能手机自带的相机功能在各种不同的环境下拍摄车牌照从而获得待识别的汽车牌照的图像，这一过程不可防止地存在着一定的噪声等不确定的干扰因素，为此，必须采用车牌图像预处理技术对车牌进展处理，如灰度化、滤波、灰度拉伸、二值化、矫正等，为下一步定位车牌做好充分的准备； (2)车牌定位：包含车牌的粗定位和准确定位，以及裁剪出车辆图像中的车牌区域的图像的功能，这一步比拟重要，正确的定位有助于识别率的提高。 (3)字符分割：车牌中的字符可能出现不同程度的倾斜，所以必要时需要对倾斜的车牌进展矫正处理，然后把车牌中的字符精准地分割成单个的独立字符。 (4)字符识别：将分割处理后的所有独立字符逐一识别，使它们从原来的图像字符变成文本字符。通过编写程序实现功能，最终显示出车牌。其中每个过程都有不同的算法，不同的算法实现的效果都不尽一样。本论文研究的车牌识别系统是在MATLAB软件上进展仿真实现识别功能的。系统设计构造图如图1.2所示。图1.2 系统设计构造图1.5本论文主要研究容第一章 是论文的绪论，主要介绍了本课题的研究背景与开展情况，并提出了本课题的研究容。第二章 是车牌原始图像预处理的局部。主要介绍了车牌图像格式转化、灰度化、二值化等预处理容。第三章 是车牌定位和字符分割。这一章介绍了几种常见的定位算法和字符分割算法，并进展了车牌位置矫正和车牌边框去除。第四章 为字符识别的局部，是整个系统中最核心的环节。本章简单介绍了三种识别算法。第二章 车牌图像预处理2.1 引言本章首先阐述了数字图像的容和概念，然后详细介绍了车牌图像尺寸转换、灰度化、边缘检测、形态学处理等多方面的算法，并采用了这些算法中的最优算法组合，力图实现最优的识别效果。原始的车牌图像要通过采集才可以得到，图像采集主要是利用摄像头、数码相机等采集设备拍摄车牌图像来获取的。所以原始图像通常是彩色的，其中不可防止地包括了大量的颜色信息，不仅需要很大的存储空间而且尺寸不一，所以在处理时也会降低系统的执行效率，此外还不可防止地存在着或多或少的无关识别的信息，因而需要把彩色图像转变成灰度图像；同时因为图像采集的过程中环境的多变性和车辆的速度等多种因素的影响，以致车牌图像的质量不高，存在着不同程度的干扰及噪声，给后面的定位、分割和识别工作带来困难，直接影响到后续工作的开展和整个系统的性能。因此，在车牌图像的定位前，对图像质量进展提高而进展图像预处理的工作，不仅能消除噪声、改善图像质量，而且还可以有效地减少系统存储空间的需要6。图1.3给出了具体流程图。图2.1 图像预处理2.2 图像格式转换及尺寸归一化预处理的第一步是要对图像的格式进展转换及尺寸进展归一化处理，图像预处理能减少提取图像特征时的计算量，并且能防止存储空间的浪费，提高利用率和实时性。图像格式转换和尺寸变换有几种方法：方法一是单纯用手工操作图像处理类的专业软件来调整格式和大小；方法二是参加相应的处理模块到系统中，然后根据需要系统自动处理完成。因为不同的图像处理类的软件采用的算法不完全一样，所以处理出的效果虽然外表看不出什么差异，但是其在特征匹配时的差异非常大，有的时候甚至可能导致图像失配。因此，应该尽可能采用统一的尺寸变换和格式转换算法。2.3 图像灰度化通常情况下，用相机拍摄的车牌图像都是彩色的，所以为了识别速度快，需要先对图像进展灰度化操作。彩色图像又被称为图像，它是用、来表示一个像素的颜色的，、分别代表红色、绿色、蓝色，通过组合这三个根本颜色就可以合成出任意的颜色7。则，对于一个大小为的彩图而言，就需要一个 的三维数组来存储该图像。彩色图像中存在不少颜色信息，不仅需要较大的空间进展存储，还会大大延长系统的识别时间，使实时性不达标。因为彩图的每个像素都包含着、三种不一样的分量，识别时，不需要使用其中很多无关信息，这也不利于进一步识别。所以，在进一步地处理图像之前，需要将图像由彩色转换为灰度，目的就是为了加快处理的速度和节省存储的空间。在的模型中，假设、三个值都相等，则它代表一种灰度的颜色，而相等的那个值就被称为灰度值8。上面介绍的这个将彩图变为灰度图的过程就是这一小节的重点对图像进展灰度处理。将采集到的车牌图像进展灰度化处理后，此时的车牌图像值包含亮度信息，不包含彩色信息9。一个二维的数据矩阵就可以实现存储和处理一个灰度图像的功能，矩阵中的所有独立元素代表相应像素的灰度值。灰度的图像的像素色是，彩色的图像的像素色是，彩色图像的颜色可分解为、。、取值的围和灰度图像的转换方法如下：(l)最大值法：取、中的最大值并将其赋给其他两个分量，即:(2.1)(z)平均值法：使、的值等于三个值的和的平均值，即: (2.2)(3)加权平均值法：按照*一指标给、赋权值、，并使、的值等于它们的值的加权平均值，其中、为，和，即：(2.3)一般情况下，人类的双眼最容易区分出绿色，较容易三个分辨出红色，但是不容易区分出蓝色，所以我们通常利用第三种方法进展灰度化处理。经转换后的图像只包含强度信息，因此灰度模型不能重新转换为模型。经灰度化处理之后的彩色图像保存了图像的主要信息，不会丧失车牌的主要特征信息，同时图像经灰度化处理后为车牌的字符分割提供了简单的处理对象。车牌灰度化处理前后图如下：图2.2 原始车牌图像图2.3 灰度图像2.4 边缘检测车牌识别系统需要处理的是灰度图像和二值图像，在处理时需要利用车牌字符的边缘特征。边缘就是指图像中出现的灰度值不连续的点，将它们连起来就形成了物体的边。车牌图像的边缘是区域与区域之间的交界10。所以能否准确检测出字符边缘就直接影响到最后识别结果的准确度。边缘检测的作用就是检测并突出图像的边缘局部、灰度值跳变局部和纹理突变局部。车牌中包含很多的边缘信息，可以通过边缘检测的算法来提取出车牌的特征信息。边缘检测是对*一领域的灰度变化的考察，边缘检测局部算子法利用边缘邻近的一阶导数和二阶导数的值来判定边缘，一阶算子梯度算子可以检测一个像素是否是算子，二阶算子拉普拉斯算子可以判定一个像素是在边缘的亮侧还是暗侧。目前可使用的边缘检测算子有很多种，本文由于篇幅和时间限制，仅对四种较为常用的检测算子进展简要介绍，分别是Robert算子、Prewitt算子、Sobel算子和Canny算子等11。和和和和(a)Robert算子 (b)Prewitt算子 (c)Sobel算子 (d)Canny算子图2.4 边缘检测算子Roberts算子的检测速度比拟快，边缘定位准确，但是易受噪声干扰，从而丧失一些边缘信息。Prewitt算子和Sobel算子都是加权平均，对图像质量要求不高，但是边缘检测效果不好。Canny算子对边缘检测的精度较高，且具有很好的信噪比，所以被广泛应用于边缘检测中。Canny 算子检测图像边缘例如如图2.5所示。图2.5 边缘检测2.5 图像的二值化在研究车牌识别系统时需要屡次利用灰度图像的二值化算法，如图像灰度化后的图像增强阶段、对车牌区域进展粗定位阶段、精定位之后的字符分割阶段等，可以使用不同的二值化算法。二值图像指图像的灰度值只有0和255的图像，不存在其他灰度值。原因有两方面：一、一些待处理的图像本身就是二值图像，如工程图像、指纹图像等；二、尽管有些图像是灰度的，我们为了提高处理速度，也会将其转化为二值化的图像。此外，二值图像能应用几何学中的特征描述，具有巨大的优势。图像的二值化是根据图像中待提取目标与背景之间灰度差异计算出一个阈值，然后图像中的各个像素的灰度值与这个阈值的大小进展比拟，然后将大于阈值的像素归为一类并用1来表示，小于阈值的则为另一类用0表示12。这种理论基于背景与物体的灰度值存在差异。因而，阈值分割的算法分为两步：一是计算出阈值；二是做比照然后取值。确定阈值是以上步骤中关键的一步，恰当地选取好阈值，可以有效地除去噪声，并且可以将图像中的目标和背景分割开，从而大大减少信息量并提高处理速度。目前确定阈值的方法有多种，依据阈值的应用围常用的有以下三种方法：1、直方图技术如果在一幅图像中，背景是浅灰色的，但其中包含一个深色像素的物体，这类图像的双峰直方图如图2.6所示。灰度级的两峰之间存在一个灰度级的数量极少的一个局部，从而产生了谷，以谷值作为灰度阈值。图2.6 双峰直方图二值化公式如下： 2.42、 全局阈值法全局阈值法，就是选择一个常数作为阈值并将其作用于整幅图像中的每一个像素。其中，比选定阈值大的像素标记为背景，反之为物体。这种方法处理速度快，尤其适用于背景单一的图像，但是当图像的背景复杂时，就不能很好地到达预设的目标了。(l)极小值点阈值如果把图像所对应的灰度直方图看成是曲线，则可以借助求取曲线的极小值来选取直方图的谷。设表示图像的灰度直方图，则极小值点应该满足以下两个条件:和 2.5(2)迭代阈值分割取灰度中值作为初始值，借助下面的公式进展迭代计算: (2.6)在公式2.6中，的含义是指灰度取值为k的像素的数目，k的取值围为0到L。当Ti+1=Ti时迭代完毕，将此时的Ti值为阈值。(3) OTSU法Ostu法是最常用的全局阈值法，该方法的主要思想是：首先利用阈值T将二值化处理后得到的车牌图像的灰度值分为两类，然后计算出相应的类间方差和类方差，将两者相比并求出最大的比值，以此确定出阈值T13。如果将二值化处理后得到的车牌图像的灰度值有L个取值围，并且将此时相应的阈值假设为T，则灰度就可以分为两类，其中将小于T的灰度值设为类1，显然，大于T的灰度值设为类214。则此时，可以利用相应的公式和值分别计算出均值和方差。在对车牌图像的灰度值进展分类之前，如果假设所有灰度值的平均取值为，则此时的类方差可以利用公式2.7计算求得。 (2.7)类间方差由下式计算: (2.8)将公式2.7和公式2.8计算所得的值相比即，要想在类方差保持不变的情况下得到最大的比值，就必须尽量取到的最大值，此时对应的像素值就是希望得到的阈值T。3、 局部阈值法一般来说，在经过二值化处理后得到的车牌灰度图像中，图像的背景的像素值是不是固定不变的，当然图像中的物体的像素值和背景的像素值的比值也不是一成不变的15。正是因为这个原因，阈值T也会随之改变，这时就不能再采用全局阈值法来处理了，这时就得采用局部阈值法了。局部阈值法是对所有像素取一个阈值，并且保证所取阈值只与其周围的像素有关。因为车牌图像中的所有像素都要确定一个阈值T，所以最后的识别效果比拟理想，适用围广，但是执行时间长实时性不好。对图像进展局部二值化处理，有一个不可防止且难以克制的问题就是图像容易不连通16。(1)Niblack这是一个行之有效并且非常简便的方法，借助计算车牌图像中局部位置像素的均值和方差来确定中心位置的像素的阈值。例如，对一个中心位置为的的局部图像而言，可以很轻松地计算出它的像素的均值和方差值：，则该像素的点的阈值为： (2.9)的大小非常敏感，假设太大，图像的细节容易被删去，反之，假设太小，图像会存在很多噪声。(2)Bernsen对中心为的的窗口，其最大和最小像素值为，假设，则其相应阈值为： 2.10)否则该窗口属于同一类。目前可使用的二值化算法有很多，本文仅就其中几种做了简单介绍，每种方法各有优缺点。当采用全局二值化方法来处理图像时，Ostu法是最常用且效果还不错的一种方法。因此本次毕业设计，就应用了Ostu法进展图像二值化处理，这也为后续的车牌识别等过程提供了一个高质量的车牌图像。图2.7是本此设计中仿真出的二值化车牌图像。图2.7 二值化图像2.6 数学形态学处理在车牌识别系统中，利用形态学的知识和相关算法可以排除一些直观上的干扰因素，有利于准确定位车牌位置。它的原理是首先找到一个有一定形态的构造元素，接下来利用它对车牌图像中的相关形状进展量度和提取，从而实现对车牌图像的分析和识别的功能17。数学形态学主要采用了领域运算形式，可以简化图像数据，保存图像中的有用信息，去除无关信息。最根本的形态学运算子有膨胀运算、腐蚀运算以及二者组合而成的开运算和闭运算等。(1)膨胀运算膨胀运算的根本原理是将与物体接触的局部背景点合并到物体中18。经过图像膨胀，图像边界变大，元素面积相应增加，而且图像膨胀可以填充图像中的空隙和连接断续点，使其成为连通区域。膨胀运算的公式如下： (2.11)(2)腐蚀运算腐蚀运算的根本原理是在构造元素的制约下，删减物体的边界点和边界上的突出局部，使其向收缩。其主要应用于消除分割图像时产生的微小且无意义的点。腐蚀运算的公式如下： (2.12)(3)开运算开运算也就是对待处理图像进展腐蚀操作和膨胀操作的过程。它的作用是在不改变物体面积的条件下，滤除图像中的细小孤立点、毛刺，擦除在两块区域的之间的连接小点，平滑图像的大致轮廓。同时在保证图像面积根本不变和相对完整地保存构造元素点的条件下，不改变图像总的位置和形状。(4)闭运算闭运算即先膨胀后腐蚀。该运算可以在不影响图像中的明亮细节的条件下，去除暗细节局部。经闭运算后，图像中的细小空隙得以填充，连通图像中临近的物体，图像边界更为平滑，在不明显改变物体面积的情况下，图像总的位置和形状保持不变。本论文中对字符区域进展形态学腐蚀运算，去除图像中不连续的边界点，再应用形态学闭运算，连通图像中的小块区域，最后删除干扰因子初步定位车牌区域19。确定车牌区域的流程图如下：图2.8 确定车牌区域的流程图第三章 车牌定位及字符分割3.1 引言车牌定位是整个车牌识别系统中对图像处理较为重要的第一步，能否正确定位出车牌位置直接影响到车牌识别率。车牌定位就是从原始的车辆照片上根据车辆牌照的长宽比和颜色组合信息等特征来检测出面积尽可能小而完全包围车牌区域的图像，并将其从原始图像中分割出来。现实环境下，不同的光照以及不同的拍摄距离、角度的影响，采集到的车牌图像可能模糊不清甚至文字笔画不连续，所以要排除干扰，准确地定位出车牌位置有一定的难度。3.2 车牌定位算法简介目前常用的车牌定位算法有数学形态学法、边缘检测法、小波分析法、灰度值法20。（1） 基于数学形态学的定位算法基于数学形态学的定位算法就是利用腐蚀运算和闭运算处理二值化图像，确定出目标，滤除噪声，实现车牌的定位。其中腐蚀运算可以删去图像中的边界点和边界上的突出局部，闭运算可以连通图像中的小块区域，最后依据车牌图像的特征知识来实现功能。这种方法可以自动调整阈值，从而适应光照等外界因素的干扰，并且可以快速定位。在本文中的2.6节详细解释了数学形态学的算子。（2） 基于边缘检测的定位算法边缘是指图像中灰度级发生阶跃变化的局部，由于边界的灰度值和物体的灰度值有差异，所以可以根据车牌部字符的边缘特征，找出车牌的大致区域。这种方法有一定的局限性，就是对图像的质量要求较高，如果图像中的干扰太多，就有可能发生误判，将干扰强的边缘标记为车牌边界。在本轮中的2.4节，已经较为详细的介绍了几种边缘检测算子，本系统中采用的是Canny算子。（3） 基于小波分析的定位算法小波分析的定位算法结合了数学形态学的一局部知识，先用小波提取边缘边缘中的小块区域，在不同的分辨率层次上分割图像；再利用形态学运算滤除噪声，从而实现准确定位，这种方法计算量较大，定位速度较慢。（4） 基于灰度值的定位算法基于灰度值的定位算法采用了线段探针搜索定位车牌区域，其根本原理是利用车牌底色、边框颜色以及背景颜色在灰度化之后产生的灰度值有差异，形成了灰度值阶跃变化的边界。车牌的边框灰度值比背景灰度值高，并且边框为平行四边形，可以使用边缘检测算法，将车牌区域提取出来。3.3 本文车牌定位算法本文采用数学形态学方法实现车牌定位的效果，由于车牌定位的准确度受到选择的构造元素的制约，太大的构造元素使车牌的区域粘连成连通域，会带入一定的噪声；而太小的构造元素则不能将车牌字符区域粘连在一起，以至于无法准确定位出车牌区域，所以必须将数学形态学定位算法和其他算法结合起来。边缘检测可以去除大量的噪声，突出车牌的边缘局部，此时再采用数学形态学算法处理图像，就可以很好地将车牌区域粘连成连通域，再根据车牌的固有特征，实现功能21。该方法的具体思路如下列图所示：图3.1 车牌定位算法流程图3.4车牌倾斜矫正通常情况下，车牌的形状是一个比例固定的矩形，但是由于拍摄角度和车辆位置的不同，实际拍摄出的车牌往往会产生畸变，这对接下来的字符分割和字符识别产生了一定的影响。通常车牌倾斜了之后，会产生下列图中出现的三种情况。图3.2 水平倾斜的两种情况图3.3 垂直倾斜的两种情况图3.4 水平垂直倾斜的两种情况图3.2所示就是车牌图像发生水平倾斜时出现的两种位置，此时车牌上的字符几乎没有发生倾斜，车牌的坐标轴与图像的坐标轴间相差的倾斜角度为，求出的值为，主要将图像旋转度就可以矫正好车牌。车牌垂直倾斜的两种情况如图3.3所示，此时的倾斜事实上是同一行上的像素的偏移，求出倾斜角度然后进展矫正。车牌水平垂直倾斜的两种情况如图3.4所示，此时车牌图像即发生了水平倾斜又发生了垂直倾斜。这种倾斜情况是最常见的。在我国研究车牌识别技术时，使用率较高的矫正算法有：Hough变换法、旋转投影法和Radon变换法22。Hough变换法是利用车牌的上下边沿与水平夹角的倾斜角度，来实现车牌位置的矫正的。但是在现实情况下，受到噪声和车牌边框不够突出等干扰因素的影响，Hough变换法应用起来困难重重，所以计算量大而且矫正效果不够理想。为此，应该在矫正车牌前，先对车牌进展二值化和边缘检测处理，使得车牌轮廓清楚，以便于接下来的矫正处理。旋转投影法是利用反复旋转车牌图像的方法，将旋转后的图像投影到坐标轴上，通过寻找旋转后的投影最大值，试探性地求出倾斜角度从而实现车牌位置矫正。尽管旋转投影法可以较好地防止干扰，但是实时性不够高，所以本文并未采用这种方法。Radon变换法是这三种方法中相对较好的一种，这种算法也需要先对二值图像进展边缘检测，然后再对车牌做形态学处理，接着计算水平边的倾斜角，最后利用如下所示的公式进展Radon变换。Radon变换不仅检测了水平倾斜角还检测了垂直倾斜角，然后将车牌旋转*一给定角度从而矫正车牌水平位置,并使用双线插值的方法来实现车牌垂直方向的矫正。 3.1本文采用Hough变换法，通过检测上下两条边框来实现矫正车牌位置的效果，图3.5就是倾斜车牌位置矫正的算法流程图。图3.5 车牌矫正算法流程图3.5 车牌边框的去除在实际操作时，由于客观因素的干预，待识别的车牌图像中字符背景往往比拟复杂，包含了很多的干扰信息。当车牌经过二值化之后，仍然会保存一些噪声如边框和铆钉等。在进展车牌字符分割之前需要将车牌上的干扰信息去除，否则势必会影响接下来的字符分割和识别过程。车牌图像经过二值化后，可以明显地看出车牌边框与车牌字符区域的明暗跳变次数的差异，车牌字符区域黑白跳变频繁，可以利用这个特征来去除车牌的边框。显而易见地，可以通过观察发现字符区域和边框中存在间隙，所以可以搜索并删去间隙，保存字符区域。可以对矫正后的车牌进展行扫描，从车牌的上边框水平向下扫描，当扫描到车牌的1/4处时，发现车牌的黑白跳变次数大于*一设定阈值时，停顿扫描，并删去这1/4的区域，此区域是车牌上边框。对于左右边框和下边框也可以采用同样的方法来去除。去除上边框的算法流程图如下：图3.6 去除上边框算法流程图3.6 车牌字符分割3.6.1 车牌的规格本系统中设计的识别软件针对的是小功率汽车。这种车牌的边框长度为450mm，宽度为150mm，其中包含了7个字符。在车牌中第一个位置上的字符是汉字，代表的是地区，在车牌中第二个位置上的字符是大写的英文字母，代表的含义是发证机关，在车牌中第三个位置上的字符到第五个位置上的字符有可能是大写的英文字母，也可能是阿拉伯数字，在车牌中第六个位置上的字符和第七个位置上的字符是阿拉伯数字。根据我国国家规定，所有车辆的汽车牌照上的字符必须到达409mm的长度，而每个独立字符必须到达45mm的宽度和90mm的高度，第二个位置上的字符与第三个位置上的字符间相距34mm，而其他字符间相隔12mm的距离。所以在进展车牌识别技术的研究时，可以利用这些先验知识来到达车牌字符分割的目的。3.6.2车牌分割算法车牌的字符分割就是指将车牌的7个字符从定位出的车牌图像中一个一个地分割并提取出来。字符分割的依据是字符边缘、字符的高宽比、字符间间距等特征信息。这里简要介绍投影法和模板匹配法。投影法包括水平投影法和垂直投影法，通常情况下，使用垂直投影法来进展车牌字符分割。垂直投影法就是将字符在垂直方向进展投影，然后利用在该方向上的投影，字符间和字符的间隙能取得局部最小值的方法，切割局部最小值附近，就可以实现字符分割。水平投影的方法就是对图像从上至下进展逐行扫描，当扫描到的像素点开场出现白色时，记录此时的位置，然后再从下往上扫描，同样地，当遇到第一个白点时，记录位置，从而根本可以确定出图像的高度围。用同样的方法，左右方向扫描可以确定出图像的宽度围。这种方法程序简单，计算量小，执行速度快，但是不能很好地解决字符粘连等问题。模板匹配法是根据车牌字符的排列规则，利用已有模板与竖直积分投影曲线进展匹配，计算出匹配位置的最优值，从而实现车牌分割的功能。其匹配程度由匹配偏移量来决定，匹配偏移量的计算公式如下： 3.2其中为竖直积分投影曲线，如图3.7所示。随着偏移量的值不断变小，匹配的程度会变得越来越高。图3.7 字符分割模板在本系统中采用图3.8的局部垂直投影的字符分割法。图3.8 车牌字符分割流程图第四章 车牌字符识别4.1引言车牌识别系统中车牌字符识别模块是最为重要的核心局部23。车牌字符识别就是要将分割出的字符图像识别成文本字符并将其输出，它包括了字符预处理、字符特征提取、分类匹配判决三个环节，其中分类匹配判决最为重要。车牌字符识别不同于普通的字符识别，车牌有自己独特的特征，如高宽比、每个位置出现的字符包括了汉字、阿拉伯数字和大写的英文字母。目前，国外可使用的车牌字符识别方法有：模板匹配法、神经网络法以及SVM等算法24。本文将对这些算法进展简单地阐述。4.2 车牌字符识别常用方法4.2.1基于模板匹配的字符识别算法模板匹配法是几种常用字符识别方法中，在根本原理上较为简单的算法之一。模板匹配法的根本思想是：将待识别字符与已建立的模板库中的字符进展比拟，假设哪个字符相似度最高，那就把其作为待识别的字符的识别结果。在建立模板库和选择相似度函数时，应参考车牌字符的高宽比等特征。模板匹配法的根本工作原理是计算待识别字符和模板库中的字符的差值，这个差值越小，匹配度越高，即待识别字符就是这个模板字符。图4.1的模板匹配法的算法流程图大体上描述了识别过程。灰度化后的车牌字符和二值化后的车牌字符都可以利用模板匹配法的方法到达车牌字符识别的效果。当识别的是灰度化后的车牌字符时，可以利用欧式距离代表差值函数来计算差值D，公式如下：4.1当D最小时，匹配度最高，此时的模板即待识别字符，因为灰度图像的灰度级从0到255变化，所以此时采用模板匹配法来识别灰度图像中的字符，计算量略大。为了解决计算量大的问题，可以使用二值化后的车牌字符进展识别，此时可以利用公式4.2。4.2虽然执行时间缩短了，但是二值化后的车牌图像丧失了一些信息，使得字符识别效果不理想。总之，这种识别方法执行速度快，但是只有噪声少、车牌位置正、字符分割准确的情况下，才可以准确地识别出字符，识别率很难提高，不利于系统的整体性能提升。图4.1 模板匹配法的算法流程图4.2.2 基于支持向量机的字符识别算法统计识别的根本方法是先提取字符特征再建立特征向量训练集，然后确定分割边界并将样本分类。这种方法可以分为两种，一种是概率统计法，还有一种就是几何分类法。而支持矢量机(support vector machines，SVM)属于集合分类法。支持向量机在统计识别中20，起步较晚，是一类新型机器学习方法25。SVM算法的根本原理就是在构造风险最小化和线性可分的条件下，采用线性算法来寻求最优分类超平面，从而实现最优分类26。目前，基于支持向量机的字符识别算法仍然处于不断开展之中，它可以极好地改善分类器的泛化能力。更为重要的是，当图像噪声多且训练样本不够多时，支持向量机算法依旧可以较好地准确识别出车牌字符。这种方法可以防止由于字符相似而导致的错误识别字符的情况的发生，而且也不受拟合现象的干扰。图4.2的字符识别的算法流程图就根本上概括出了SVM算法的识别过程。图4.2 字符训练与识别结果4.2.3 基于人工神经网络的字符识别算法目前，基于人工神经网络的字符识别算法使用围比拟广泛而且识别效果较好。本工程就是利用了人工神经网络的字符识别算法来实现字符识别的功能的。人工神经网络Artificial Neural Networks的本质就是用机器语言来试图模拟人类做出判断和决策。神经网络的字符识别算法可以分为两个过程：学习期和工作期。具体来说就是将输入设置为字符图片，输出设置为对应的文本字符，反复训练，通过神经网络的学习，最后得到一个网络；然后，进入工作期，将神经网络的输入设置为待识别字符图片，利用网络连接权值不变，得出输出量即正确的文本字符。人工神经网络算法适应性强，对图像的质量和车牌的位置要求不高，并且拥有执行速度快和并行处理能力强的优势，可以准确识别出车牌字符。唯一的缺乏之处是，它在学习期需要大量的训练数据。人工神经网络识别过程示意图如图4.3所示。在神经网络的四类网络模型前馈网络、反应网络、自组织网络和随机型网络中，反应神经网络即BPBack Propagation神经网络在实际生活中被大量应用27。该网络具有三个优点：1非线性映射能力2泛化能力3容错能力。基于这些优点，本系统将要采用BP神经网络进展车牌字符识别。图4.3 人工神经网络识别过程4.3 BP神经网络的构造采用BP算法的人工神经网络就是BP神经网络，BP网络也可以称为反向误差传播神经网络，它是一个多层的前向神经网络。BP神经网络由学习与训练两个步骤完成，其号的正向发送与误差的反向发送是学习过程的两个主要阶段28，训练过程则是一直进展到误差减小到一个要求的围为止。BP神经网络的网络构造拓扑图如图4.4所示。从图4.4可以直观地看出，BP神经网络是一个多层感知器，可以分为输入层input layer、隐含层(hide layer)和输出层(output layer)，每一层部的神经元没有连接起来，而层与层之间的神经元是采用全连接的方式进展连接的。每一层的神经元个数和隐藏层的个数根据问题本身的不同情况，各有不同。图4.4 BP 神经网络构造图4.4BP神经网络在车牌识别中的应用首先要提取出所得字符的特征向量，然后将其作为输入送入BP神经网络，对其进展反复的训练，得出相应的权值矩阵，即到达了将字符分类的效果，最后数字、汉字的输出即为识别最终结果。图4.5就是借助了BP神经网络算法进展的字符识别过程，可以从中看出大体的流程。图4.5 基于BP神经网络的车牌字符识别示意图4.4.1 特征提取针对不同类型的字符，可以采用不同的特征提取法来提取出字符的特征，如汉字识别器、字母识别器和数字识别器等。由于篇幅的限制，本文仅对字母识别做一定的介绍，并将对20点特征点提取法做简要介绍。首先将字符等分成16份，统计出每份白色像素点的比例为16 个特征向量，示意图如图4.5所示。图4.5 特征提取法接着统计水平方向中间两列和竖直方向中间两列的白色像素点的比例作为后4个特征，最后统计所得的白色像素点比例的个数为第20个特征29。如图4.6所示：图4.6 特征示意图4.4.2 BP 神经网络的构造与设计待识别字符的特征向量的维数对输入节点的神经元个数起到了决定的作用。本实验设计了4个三层BP神经网络，且每个神经网络都有一个隐含层，能够识别阿拉伯数字、汉字以及大写的英文字母。识别车牌字符中的汉字的BP神经网络包含了20个输入层和2个输出层桂、，因为只找到这两种样本图片。用于识别大写英文字母的BP神经网络包含20个输入层和24个输出层除了i 和o。识别车牌字符中的阿拉伯数字的BP 神经网络包含有20个输入层和10个输出层。4.4.3 网络训练构造和算法设计完之后，就要进展网络训练。经过大量的样本训练就可以得到一个完备的字符识别系统了。经过MATLAB仿真之后，结果如下，图4.7为对BP神经网络的字符样本进展训练30的过程示意图，图4.8为仿真之后误差的收敛曲线的示意图。图4.7 字符样本的训练过程图4.8 误差收敛情况4.5实验结果本实验共对60车牌图片进展了识别，其中总共包含了420个字符，正确率到达了94.5% 。正确率还有待提高，错误识别的字符主要有0 和Q，1 和4，5 和s。误识的原因可能有：1边框去除不彻底2图像中包含噪声3参数设置不合理，难以进展量化分析。下面是本次实验识别的车牌情况汇总表，图4.9中的(a)、(b)、(c)、(d)四幅图是随机抽取的车牌识别图像。表4-1 车牌识别情况汇总待识别车牌识别结果 错误个数 识别时间 识别率F8S776F8S77600.37100%桂AC3692桂AC369200.3100%桂AM5885桂AM588110.3685.7%桂A75299桂A7529900.57100%桂AF2830桂AF283000.46100%桂AF2830桂AF283000.53100%桂C92030桂C7203010.3385.7%桂AV8730桂AV873000.5100%桂AE0886桂AE088600.42100%桂AE6095桂AE609500.39100%EFB319EFB31900.36100%EFB318EFB31800.37100%EFB349EFB31910.4385.7%A3B099A3B09900.42100%AB6823AY682310.3585.7%AB6823AY682310.4385.7%AMK717AMK71700.43100%ADZ249ADZ21910.3985.7%AQ8287AQ828700.41100%AEE077AEE07700.29100%AMV889AMV88900.42100%AMF347AMF