毕业设计基于MATLAB的车牌号码识别

基于MATLAB的车牌号码识别 摘要：闯红灯，交通事故等是日常交通交通管理当中比较常见的违章现象，而每一辆骑车都有其唯一的标识，那就是车牌号码。车牌号码识别技术能有效的迅速识别出当事车辆，为交通管理提供了很大的便利。 车牌号码识别系统软件部分由图像采集、图像预处理、字符分割、车牌定位、字符识别这几个主要部分组成，本文的研究是基于MATLAB上实现图片处理完成车牌号码识别的，利用图像为度化和使用Roberts算子进行边缘检测完成图象预处理，利用数学形态发完成对车牌的定位与分割，利用车牌彩色信息的彩色分割法来完成车牌部位分割，利用二值化后的车牌部分进行垂直投影，然后在对垂直投影进行扫描，以此完成对字符的分割。关键字：图象预处理、字符分割、车牌定位、字符识别、MATLAB License plate recognition based on MATLABAbstract： Running the red light, traffic accident is the daily traffic management among the more common violation phenomenon, each bike has its unique identity, and that is the license plate number. Vehicle license plate recognition technology can rapidly identify effective out of the vehicle, and provides great convenience for traffic management.Vehicle license plate recognition system consists of image acquisition, image preprocessing, license plate location, character segmentation,character recognition in the following parts, the research of this paper is implemented on the MATLAB image processing to complete the vehicle license plate recognition based on image, use for the degree and the Roberts edge detection operator to complete the image pretreatment, using mathematical send the completed form to the license plate location and segmentation, color segmentation method using color information of the license plate to complete part segmentation, using two values of license plate of vertical projection, and then on the vertical projection of the scanning, thereby completing the character segmentation.Keywords: image preprocessing, license plate location, character segmentation, character recognition, matlab 目 录第一章 绪论21.1 本文研究背景21.2 MATLAB简介21.3 车牌识别系统现状21.3.1 车牌号码识别原理21.3.2 国内外车辆牌照识别技术现状21.3.3 车牌识别技术的应用情况与发展趋势21.4 主要的研究内容21.5 系统的框架与特点11.5.1 车辆检测跟踪模块21.5.2车牌定位模块21.5.3 车牌矫正及精定位模块21.5.4车牌切分模块21.5.5车牌识别模块21.5.6车牌识别结果决策模块2第二章 系统总体设计22.1 车牌识别系统的总体设计22.2 系统的硬件设计22.3 系统的软件设计22.4 本章小结2第三章 车牌定位23.1 车辆图像预处理23.1.1 图像灰度化33.1.2 灰度拉伸33.1.3 图像平滑33.1.4 边缘提取33.2 车牌初步定位33.2.1 结构元素的选取33.2.2 提取候选区域33.3 车牌精确定位33.3.1 车牌水平方向的定位算法33.3.2 车牌垂直方向的定位算法33.4 本章小结3第四章 车牌字符切分34.1 车牌字符切分综述34.2 车牌二值化34.2.1 图像二值化的基本原理34.2.2 Otsu 算法34.2.3 改进的 Otsu 算法34.3 倾斜校正44.4 字符切分44.5 本章小结4第五章 车牌字符识别45.1 车牌字符识别综述45.2 模板匹配字符识别45.2.1 模板匹配字符识别简介45.2.2 创建匹配模板45.2.3 提取车牌特征45.2.4 模板匹配45.3 基于神经网络的车牌字符识别45.4 本章小结4第六章 系统测试及分析46.1 测试平台MATLAB简介46.2 测试结果分析46.3 本章小结4第七章 结论与展望57.1 总结与讨论57.2 展望5致谢5参考文献5附录 程序清单5第1章 绪论1.1 本文研究背景随着交通运输的不断发展，交通管理的智能化越来越重要，汽车牌照识别系统技术对于很多领域具有广阔的应用前景。该技术应用范围非常广泛, 其中包括: (1) 交通流量检测； (2)交通控制与诱导；(3) 机场、港口等出入口车辆管理；(4) 小区车辆管理；(5) 闯红灯等违章车辆监控；(6) 不停车自动收费；(7) 道口检查站车辆监控；(8) 公共停车场安全防盗管理；(9) 计算出行时间；(10) 车辆安全防盗、查堵指定车辆等。其对于交通管理、治安处罚等工作的智能化起着十分重要的作用。车牌识别系统主要由车牌定位、字符分割、字符识别三个部分构成，当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。牌照识别单元对图像进行处理，定位出牌照位置，再将牌照中的字符分割出来进行识别，然后组成牌照号码输出。车牌识别系统目前已经得到了广泛的应用，本文将一步一步讲解该技术的关键部分。1.2 MATLAB简介 本文的研究是基于MATLAB上实现的，MATLAB是一种流行的工程软件，可以应用于科学计算、控制系统设计与分析、数字信号处理、数字图像处理、通讯系统仿真与设计、金融财经系统分析等领域。MATLAB的名称源自Matrix Laboratory，它的首创者是数值线性代数领域颇有影响的Cleve Moler博士，他也是生产经营MATLAB产品的没过Mathworks公司的创始人之一。MATLAB是一种科学计算软件，专门以矩阵的形式处理数据。MATLAB将高性能的数值计算和可视化集成在一起，并提供了大量的内置函数，从而使其被广泛的应用于科学计算、控制系统、信息处理等领域的分析、仿真和设计工作中，而且利用MATLAB产品的开放式结构，用户可以非常容易地对MATLAB的工程进行扩充，从而在不断深化对问题认识的同时，逐渐完善MATLAB产品以提高产品自身的竞争能力。1.3 车牌识别系统现状1.3.1车牌号码识别原理 车辆牌照识别系统的基本工作原理为：将摄像头拍摄到的包含车辆牌照的图像通过视频卡输入到计算机中进行预处理，再由检索模块对牌照进行搜索、检测、定位，并分割出包含牌照字符的矩形区域，然后对牌照字符进行二值化并将其分割为单个字符，然后输入JPEG或BMP格式的数字，输出则为车牌号码的数字。我们知道输入的彩色图像包含大量颜色信息，会占用计算机较多的存储空间，且处理时也会降低系统的执行速度，因此对图像进行识别等处理时，通常将彩色图像转换为灰度图像，以加快处理速度。对图像进行灰度化处理、边缘提取、再利用形态学方法对车牌进行定位。具体步骤如下：首先通过MATLAB软件对图像进行灰度转换，二值化处理然后采用4X1的结构元素对图像进行腐蚀，去除图像的噪声。采用25X25的结构元素，对图像进行闭合应算使车牌所在的区域形成连通。在进行形态学滤波去除其它区域。汽车牌照识别一般只要分为间接法和直接发两种:间接法是基于IC卡鉴别(REID)或基于条码的识别。直接法是基于图像的汽车牌照识别。1、间接法:指通过识别安装在汽车上的IC卡或条形码中所存储的车牌的信息来识别车牌及相关信息。IC卡技术识别准确度高，运行可靠，可以全天候作业，但它整套装置价格昂贵，硬件设备十分复杂，不适用于异地作业;条形码技术具有识别速度快、准确度高、可靠性强以及成本较低等优点，但是对于扫描器要求很高。此外，二者都需要制定出全国统一的标准，并且无法核对车、条形码是否相符，也是技术上存在的缺点，这给近期在短时间内推广造成困难。 2、直接法:基于图像的车牌识别技术属于直接法，是一种无源型汽车牌照智能识别方法，能够在无任何专用发送车牌信号的车载发射设备情况下，对运动状态车辆或静止状态车辆的车牌号码进行非接触性信息采集并实时智能识别。与间接法识别系统相比，首先，这种系统节省了设备安置及大量资金，从而提高了经济效益;其次，由于采用了先进的计算机应用技术，所以可提高识别速度，较好地解决实时性问题;再次，它是根据图像进行识别，所以通过人的参与可以解决系统中的识别错误，而其他方法是难以与人交互的。 1.3.2 国内外车辆牌照识别技术现状 车牌自动识别技术的研究国外起步地较早。早在20世纪80年代，便有一些零零散散的图像处理方法用于车牌自动识别的某些具体应用。在这个阶段，车牌自动识别技术的研究还没有形成完整的系统体系，一般采用简单的图像处理方法来解决某些具体问题，并且最终结果通常需要人工干预。进入20世纪90年代后，车牌自动识别的系统化研究开始起步。典型的如A.S.Johnson等提出车辆牌照的自动识别系统分图像分割、特征提取和模板构造、字符识别等三个部分，完成车牌的自动识别。R.A.Lotufo使用视觉字符识别技术分析所获得的图像，首先在二值化图像中找到车牌，然后用边界跟踪技术提取字符特征，再利用统计最邻近分类器与字符库中的字符比较,得出一个或几个车牌候选号码，最终确定车牌号码。这个时期的应用在识别正确率方面有所突破，但还没有考虑识别实时性的要求，识别速度有待进一步提高。由于我国的车牌格式和国外有较大的差异，所以对于国外的车牌识别系统的研究技术，我们只能进行参考，不能进行直接应用。虽然我国车牌的识别需要识别汉字，但是对于英文字母和数字的识别，我们可以借鉴国外的研究技术。从80年代中期开始，ARGUS英国Alphatech公司就开始了名为RAUS的车牌自动识别系统的研制。ARGUS的车牌识别系统的识别时间约为100毫秒，通过ARGUS的车速可高达每小时100英里。还有Hi-Tech公司的See/Car system,新加坡Optasia公司的VLPRS等。另外日本、加拿大、德国等发达国家都有适用于本国的车牌识别系统。1.3.3 车牌识别技术的应用与发展趋势 汽车牌照号码是一辆车辆唯一的标识，也就是一辆汽车的身份证，车牌号码识别技术可以轻松的实现对汽车登记，剩下了不少人力，不需要像传统的进门登记方法。目前这项技术已经广泛应用于交通管理与车辆管理中，例如高速公路超速违章行为、小区车辆进出登记管理、停车场无人自动计时收费、高速公路自动收费等方面。 车牌号码识别技术的便利性众所周知，目前看来，这种技术今后的发展将更多的强调其成像，图片预处理，处理算法等系统各个环节的相互间的配合。尤其是物理成像和图片预处理会成为下个阶段发展的关键，因为识别算法一旦发展到了一定程度，短时间内很难再提高，也就是瓶颈期， 这时如何能够通过成像、光源、降噪等环节来为核心算法扫清障碍就成为了影响产品最终性能的制衡点 。这项技术最基础的是图像的采集，这就期望能捕捉更高分辨率更高画面质量的图像，图像的采集还在于捕捉动态视频中的画面，光源，噪点等都会影响图片的质量，更高的分辨率更高的图片质量会成为这项技术今后的发展趋势。另一方面， 目前车牌识别算法本身的难题主要集中在车牌受到各种干扰时如何保证尽可能准确地识别，例如大型车常见的车牌污损、私家车辆规避限号的车牌遮挡、光照环境形成的阴影干扰等等。 如何利用好高分辨率和高计算能力来降低系统的操作难度，进一步解决这些技术问题，提高系统配置的自动化水平是车牌识别产品下阶段需要着重投入的方向。 1.4 主要的研究内容 当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。牌照识别单元对图像进行处理，定位出牌照位置，再将牌照中的字符分割出来进行识别，然后组成牌照号码输出。（1）当行驶的车辆经过时，触发埋设在固定位置的传感器，系统被唤醒处于工作状态；一旦连接摄像头光快门的光电传感器被触发，设置在车辆前方、后方和侧面的相机同时拍摄下车辆图像；（2）由摄像机或CCD 摄像头拍摄的含有车辆牌照的图像通视频卡输入计算机进行预处理，图像预处理包括图像转换、图像增强、滤波和水平较正等；（3）由检索模块进行牌照搜索与检测，定位并分割出包含牌照字符号码的矩形区域；（4）对牌照字符进行二值化并分割出单个字符，经归一化后输入字符识别系统进行识别。1.5 系统的的框架与特点车牌识别系统采用高度模块化的设计，将车牌识别过程的各个环节各自作为一个独立的模块，其系统框架如下所示。1.5.1车辆检测跟踪模块车辆检测跟踪模块主要对视频流进行分析，判断其中车辆的位置，对图像中的车辆进行跟踪，并在车辆位置最佳时刻，记录该车辆的特写图片，由于加入了跟踪模块，系统能够很好地克服各种外界的干扰，使得到更加合理的识别结果，可以检测无牌车辆并输出结果。1.5.2车牌定位模块车牌定位模块是一个十分重要的环节，是后续环节的基础，其准确性对整体系统性能的影响巨大。车牌系统完全摒弃了以往的算法思路，实现了一种完全基于学习的多种特征融合的车牌定位新算法，适用于各种复杂的背景环境和不同的摄像角度。1.5.3车牌矫正及精定位模块由于受拍摄条件的限制，图像中的车牌总不可避免存在一定的倾斜，需要一个矫正和精定位环节来进一步提高车牌图像的质量，为切分和识别模块做准备。使用精心设计的快速图像处理滤波器，不仅计算快速，而且利用的是车牌的整体信息，避免了局部噪声带来的影响。使用该算法的另一个优点就是通过对多个中间结果的分析还可以对车牌进行精定位，进一步减少非车牌区域的影响。1.5.4车牌切分模块车牌系统的车牌切分模块利用了车牌文字的灰度、颜色、边缘分布等各种特征，能较好地抑制车牌周围其他噪声的影响，并能容忍一定倾斜角度的车牌。这一算法有利于类似移动式稽查这种车牌图像噪声较大的应用。1.5.5车牌识别模块在车牌识别系统中，通常采用多种识别模型相结合的方法来进行车牌识别，构建一种层次化的字符识别流程，可有效地提高字符识别的正确率。另一方面，在字符识别之前，使用计算机智能算法对字符图像进行前期处理，不仅可尽可能保留图像信息，而且可提高图像质量，提高相似字符的可区分性，保证字符识别的可靠性。1.5.6车牌识别结果决策模块识别结果决策模块，具体地说，决策模块利用一个车牌经过视野的过程留下的历史记录，对识别结果进行智能化的决策。其通过计算观测帧数、识别结果稳定性、轨迹稳定性、速度稳定性、平均可信度和相似度等度量值得到该车牌的综合可信度评价，从而决定是继续跟踪该车牌，还是输出识别结果，或是拒绝该结果。这种方法综合利用了所有帧的信息，减少了以往基于单幅图像的识别算法所带来的偶然性错误，大大提高了系统的识别率和识别结果的正确性和可靠性。第二章 系统总体设计2.1 车牌识别系统的总体设计车辆牌照识别整个系统主要是由车牌定位和字符识别两部分组成，其中车牌定位又可以分为图像预处理及边缘提取模块和牌照的定位及分割模块；字符识别可以分为字符分割与特征提取和单个字符识别两个模块。为了用于牌照的分割和牌照字符的识别，原始图像应具有适当的亮度，较大的对比度和清晰可辩的牌照图像。但由于该系统的摄像部分工作于开放的户外环境，加之车辆牌照的整洁度、自然光照条件、拍摄时摄像机与牌照的距离和角度以及车辆行驶速度等因素的影响，牌照图像可能出现模糊、歪斜和缺损等严重缺陷，因此需要对原始图像进行识别前的预处理。牌照的定位和分割是牌照识别系统的关键技术之一，其主要目的是在经图像预处理后的原始灰度图像中确定牌照的具体位置，并将包含牌照字符的一块子图像从整个图像中分割出来，供字符识别子系统识别之用，分割的准确与否直接关系到整个牌照字符识别系统的识别率。由于拍摄时的光照条件、牌照的整洁程度的影响，和摄像机的焦距调整、镜头的光学畸变所产生的噪声都会不同程度地造成牌照字符的边界模糊、细节不清、笔划断开或粗细不均，加上牌照上的污斑等缺陷，致使字符提取困难，进而影响字符识别的准确性。因此，需要对字符在识别之前再进行一次针对性的处理。车牌识别的最终目的就是对车牌上的文字进行识别。 整个车牌识别系统的核心是软件部分，系统的好坏很大程度上取决于软件部分识别号码的准确性。一个完整的识别系统如下图：牌照触发图像采集预 处 理车牌定位字符分割字符识别输出结果2.2 系统的硬件设计 一个完整的车牌号码识别系统的硬件部分由摄像机、主控机、采集卡、和照明部分组成。比如一般的停车场管理系统都是由车辆传感探测器、高分辨率CCD摄像机、高性能工控计算机、高放大倍数镜头、视频采集卡和CCD自动亮度控制器等。 首先是探测车辆的接近、通过、和停留等。常用的有光探测器、微波雷达通过型探测器、测速雷达探测器、声探测器、红外探测器、电子感应探测器和压敏探测器等。我国停车场应用较多的是红外探测器和电磁感应探测器。设置在停车场入口和出口的两对红外发射和接收设备进行车辆检测。利用编码调制信号，增强抗干扰的能力，具有较强的可靠性。前端工控机利用红外线探测到车辆经过的信号时，控制图像采集卡抓拍图像，并对抓拍的车辆图像进行牌照识别，同时控制摄像机光圈的大小，以适应外界不同的光照条件。然后将识别出的牌照信息储存到服务器中，当车辆离开时，同样的进行车辆识别，将其与前面识别到的同一车辆进行对比，计算出停车时间进行收费。 本文主要针对软件部分进行研究，对抓拍到的车牌进行号码识别。2.3 系统的软件设计 系统采集到图像后必须要以一定的格式储存起来，一般系统常有的储存格式有*.JPG、*.BMP、*.GIF、*.PCX等等。本文对采集到的车牌图像采用的格式为*.JPG。对于软件程序的编写，一般都是用VC或者MATLAB语言编写，本文使用MATLAB语言编写了该系统。选取MATLAB语言编写当然有其优点：（1）MATLAB 编程效率高，使用方便。MATLAB 以矩阵作为基本语言要素大大提高了数值计算的编程效率。MATLAB 本身拥有丰富的函数库，并具有结构化的流程控制语句和运算符，用户在使用过程中能够方便自如地应用。其图像处理工具箱更是大大扩展了MATLAB 解决图像处理问题的能力，其他还有诸如用于神经网络和小波的工具箱等，对于算法的分析都有着很大的帮助。（2）MATLAB 扩充能力强，交互性好，移植性和开放性较好。MATLAB 的库函数同用户文件在形式上是一样的，用户可以根据自己的需求方便地建立与扩充新的库函数，扩充其功能。MATLAB 可在Windows 系列、UNIX、Linux、VMS 6.1、PowerMac 平台上使用，且所有的核心文件和工具箱文件都是公开的，用户可以修改源文件构成新的工具箱，从而可以扩充很多新的功能，利于算法的研究和改进。（3） 较强的图形控制和处理功能，自带的API 使得用户可以方便地在MATLAB与C、C+等其他程序设计语言之间建立数据通信。本文设计的系统采用 MATLAB 搭建车辆牌照识别系统，具有非常明显的优势：（1）可以直接使用MATLAB 的Image Acquisition Toolbox、Image ProcessingToolbox 以及Neural Network Toolbox 作为骨架来搭建整个系统。（2）使用MATLAB 的图形用户界面技术（GUI）编写牌照识别系统面板，可以达到与牌照定位切分程序及字符识别程序的无缝连接。（3）使用专业工具箱，使得研究人员不必过于关心程序的细节问题，可以将主要的精力放在算法的研究、设计方面，极大地减少了工作量，为算法的研究改进提供了先决条件。 整个软件系统是一个具有车牌识别功能的图像分析和处理软件。首先将采集到的汽车图像进行灰度化、灰度拉伸和滤波处理，以降低噪点、增加车牌部分的对比度。然后，通过对预处理后的图像进行小波变换分解提取图像边缘，并进行形态学处理，这时，车牌的轮廓已经非常清晰，并且可以和非车牌区域明显区分开来了，接着，根据车牌的特点进行车牌初步定位，对车牌区域和伪车牌区域进行筛选后，采用投影法进行车牌二次定位，提取出车牌图像。将提取出的车牌图像进行二值化处理，根据投影图的特点查找倾斜的角度，采用坐标变换的方法进行车牌倾斜校正，并利用其垂直投影图中字符显示出的峰群的特点进行字符切分。最后利用改进的BP 网络完成了整个车牌字符的识别。整个系统的设计主要采用了M 语言，部分采用了C 语言开发。最后搭建了一个测试平台，将上述三个部分进行了系统化，对系统的性能进行了测试和分析。 我这次使用的开发软件为MATLAB7.0，开发环境为Microsoft Windows XP，测试的图片来源于卡口进出车辆。这次软件设计的整个流程图如下图所示。 开始输入卡口汽车图像灰度化灰度拉伸中值滤波小波分解法提取车辆边缘形态学处理一次定位是否有车牌结束二次定位改进的Otsu算法进行二值化根据投影和坐标变换进行倾斜校正根据垂直投影进行字符切分改进的BP算法进行字符识别输出结果结束2.4 本章小结 本章主要介绍了车牌识别系统的总体设计方案。首先，简单介绍了车牌识别系统的组成部分，包括硬件部分和软件部分。硬件部分主要完成车辆图像的摄取，获取高质量的含有牌照的图像，受条件限制，关于硬件的研究本文未展开具体工作。软件部分在整个系统中占有很重要的地位，而且软件的优化和升级能在很大程度上弥补硬件的不足，因此是本文研究的重点，软件研究主要是设计车牌识别系统的主体，包括基于小波变换的车牌定位模块、基于Otsu 算法的车牌字符切分模块以及基于改进的BP神经网络算法的车牌字符识别模块。在确定总体设计方案后，后面将对每一模块依次进行介绍。第三章 车牌定位3.1车辆图象预处理利用摄像头拍摄到的车辆图像往往存在很多噪点，因此在进行识别前要进行车辆图像的预处理。车辆图像的预处理是指对采集到的车辆图像进行灰度化和去噪处理，以使车辆图像尤其是牌照区域的图像的质量得到改善，同时保留和增强车牌中纹理和颜色的信息，去除可能影响牌照区域纹理和颜色信息的噪点，为牌照定位提供方便。3.1.1 图像灰度化3.1.2 灰度拉伸3.1.3 图像平滑3.1.4 边缘提取3.2车牌初步定位3.2.1 结构元素的选取3.2.2 提取候选区域3.3车牌精确定位3.3.1 车牌水平方向的定位算法3.3.2 车牌垂直方向的定位算法3.4 本章小结 第四章 车牌字符切分4.1车牌字符切分综述4.2 车牌二值化4.2.1图像二值化的基本原理4.2.2 Otus算法4.2.3 改进的Otus算法4.3 倾斜矫正4.4 字符切分4.5 本章小结 第五章 车牌字符识别5.1 车牌字符识别综述5.2 模板匹配字符识别5.2.1 模板匹配字符简介 5.2.2 创建匹配模板 5.2.3 提取车牌特征5.2.4 模板匹配5.3 基于神经网络的车牌字符识别5.4 本章小结 第六章 系统测试及分析6.1测试平台MATLAB简介6.2测试结果分析6.3本章小结 第七章 结论与展望7.1 总结与讨论7.2 展望 致谢首先，我想向我的导师，郭颖老师，一个受人尊敬、负责任的人、知识渊博的学者，表达我最真挚的谢意。谢谢您在我做毕业设计及撰写论文的整个过程中的指导，让我在完成毕业设计的过程中学到了许多东西。感谢您在我写论文的每一个阶段提供了有价值的指导以及对我论文不厌其烦的修改。没有您的启蒙教学，和令人印象深刻的仁慈和耐心，我不可能完成我的论文。您的热心和有力的学术观察不仅体现在本论文中，还会体现在我未来的研究中。我还要向西南科技大学信息学院的所有老师，谢谢他们的善良和帮助。我还想谢谢我所有的老师们的教导，帮助我发展了基本和必要的学术能力。最后但是很重要的一点，我想感谢支持我的父母和所有的朋友，谢谢他们的鼓励和支持。 参考文献