基于FPGA的车牌识别

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,基于FPGA车牌识别系统,指导老师：翟建芳,小组成员：邹玉龙苟旭博,于洋李少华,项目背景,随着经济与生活水平的提高，车辆的数目日益增多，对车辆的自动化管理显得日益重要。,总体上看，对车辆的管理，已经成为国家交通运输的重要内容。,传统的车辆管理系统是在对图像进行采集后进行存储，之后传送至计算机内进行人工识别。,如果单靠人工进行管理，浪费了大量的精力与物力。,很显然，传输图像有许多多余，而且这种工作对于人类来说很枯燥与无价值。,项目产品特点,本系统采用FPGA来做车牌自动识别，能在以下几个方面应用并体现出优越性：,停车场乱停车辆：在交通不是繁忙地段可以传输文字。,车辆的追踪：可以根据该车辆在数据库的信息，查出该车出现过位置,节约存储空间,节约人力资源,体积小，可靠性高,理论基础,模式识别,、,数字图像处理、数字信号处理,以及,概率统计,理论基础，通过FPGA的灵活编程实现自己计算方法。通过功能仿真、综合后仿真和时序仿真后，确保编写出的模块正确性，就可以把编写好的各个功能模块下载到FPGA内部或者片外的配置器件中。,硬件平台,FPGA(现场可编程逻辑阵列),本系统采用Xilinx公司SPARTAN-3E和Virtex-5进行测试，Virtex中嵌入了PowerPC处理器，在SPARTAN-3E上使用Microblaze软核系统开发，在Virtex-5中实现软件硬件化。,开发流程,FPGA系统开发流程可分为软件与硬件，从硬件寄存器操作和算法程序代码编写两方面进行开发。,软件平台,*)Xilinx ISE,：仿真，对算法、关键路径、流水线、有限状态机等优化，软核与EDK的应用。,*)Synplify：,综合下载到FPGA,*)Modelsim：,功能仿真,*)Xilinx AccelDSP:,数字信号处理工具,*)Xilinx platform studio(XPS),:在集成环境GUI中创建完成嵌入式设计,*)Xilinx software development kit(SDK):,对XPS的一些补充，包括中断定时器控制等,*)可编程网表构造(platform generator):,以及验证测试软件,系统功能确定,图像数据传送到FPGA上，通过算法实现将车牌上字符显示在LCD上,研发预期成果,系统指标,性能：以O（n）=1s实现识别功能。,成本：spartan-3e(700元) virtex-5(10290元)；,开发人员费用（0元）；,模式识别、数字图像处理视频（0元）；,相关FPGA书籍以及网络资源（0元）；,功耗：本身传输字符小容量并且使用交流电。,功耗因素影响较弱。,可靠性：达到60%识别率，车牌倾斜角度不超过10度内，,可以成功识别。,系统阶段产品时间,阶段分析,阶段一：理论调研,对车牌涉及的图像、算法、模式识别、FPGA、总线协议知识进行调研作为理论基础。,阶段二：分割字符,将图像数据输入FPGA中，基于常用的垂直投影算法，使用变换的分割阈值，经过迭代循环，达到字符分割。,阶段三：识别,车牌上的字符由字母，数字，汉字构成。由模式识别中的聚类来看一共是26+10+34个聚类中心，对采集来的数据进行滤波等处理后进行聚类,结构匹配，由于已知是70个聚类，所以采用K均值聚类法来进行分类决策,算法,：在FPGA上使用软核对其进行K均值迭代计算，将样本与已经有的聚类通过最小距离进行匹配。这里K中聚类的数目、初始值、模块集合分布会影响算法速度，如果可以优化出能快速选中相邻的聚类，可以大大的提高实时要求。,阶段四：定位,车牌的提取，采用多个特征（颜色分量，灰度图，形状大小）进行对车牌的定位提取出车牌图像，FPGA上并行处理后给出决策判定。,阶段五（*）：传输,通过通信协议进行对经过处理的图像数据与PC的互联。,关键技术分析,字符分割：,将背景中有意义的单个字符提取出来，为识别打下基础。,字符分割技术有许多比如：车牌区域纹理特征、数学形态学、Hough变换都能分割字符。,本系统字符分割流程：二值化-搜索字符边界-执行分割,由于字符块在竖直方向上的投影必然在字符间取得局部最小，因此字符,正确分割位置应该在上述局部最小值附近，所以采用垂直投影方法实现。,这里是基于车牌已经定位情况。明确白色灰度值255，黑色灰度值0。,分割流程：二值化-搜索字符边界-执行分割,*)二值化：将灰度图像选取一个适当的阈值变为黑白图像，可以根据需求 设置不同的阈值以便进行分割。,*)寻找字符边框：竖直扫描图像出现灰度值连续超过某个定值，确定上下,边界；横向扫描图像出现灰度值连续超过某个定值，确定左右边界。也,可以采用Hough变换（原坐标系下对应的线在参数左边系下呈现成点）求得。,*)字符分割：垂直投影就是竖直边界内扫描，小于某个定值即进行分割。,字符识别,：由于涉及模式识别、图像处理、人工智能、计算机,等学科，识别方法多种多样。,主要识别方法有：统计识别、结构识别、神经网络字符识别、模板匹配字符识别。由于图像环境复杂，统计和 结构识别两种传统方法并不可靠，目前主要采用后两类。,*)神经网络字符识别具有良好容错、分类、并行 处理能力，但是为,了保证识别率需要大量样本，这就需要长时间学习。,*)模板匹配字符识别相对算法简单，速度较快主要有简单模板匹配、 外围轮廓匹配、投影序列匹配、外围轮廓投影匹配等。,本系统主要研究神经网络和模板匹配两种方法。目前掌握知识还有所欠缺，边做边学。,关键技术分析,关键技术分析,车牌定位：,车牌图像中并不只包含车牌，还有车身、背景以及噪声。,目的：在复杂环境中准确快速找出车牌位置。,方法：水平灰度特征提取、边缘检测定位、车牌颜色特征提取、,Hough变换定位、小波变换、数学形态学等理论方法。,由于水平灰度特征对车体颜色依赖性、边缘检测后续工作依然复杂、小波变换在FPGA上实现难度等特点，并且由于理论到实践以及代码实现有所差别，本系统将测试主要使用颜色特征提取，也将实验Hough变换定位或者更多的方法进行实验。,其中颜色特征提取根据每个颜色都是由RGB分量构成而RGB与灰度图关系转换成灰度图像，由于车牌大部分是蓝白和黑黄所以设定特定的阈值来进行局部二值化后，从底部开始水品扫描，由于字符的存在，通过黑白变化的次数来确定字符上下界。,阶段开发管理,实现客户需要主要功能：即识别车牌。,开发中，每2周开次30分钟例行会议，每周4人轮流写份周报，提高交流沟通。,第二阶段完成能交付客户识别字符功能，与用户交流（根据用户需求看能否省略如疆等字符识别），给予充足时间对主要需求进行测试。,第三阶段完成交付客户车牌定位功能，根据进度分析用户是否需要变更或者额外功能。,风险估计,1、管理和设计风险（40%）,类似的成熟产品已经出现，需要在别人的基础上面，做得更好。,项目的时间很有限，需要完成的工作比较重。,2、技术风险（50%）,需要学习模式识别、数字图像处理、数字信号处理以及概率统计理论基础课程和FPGA，以及一些软件的使用。,需要攻克一些技术难点。,文字和图像定位技术。,文字和图像分割技术。,文字和图像提取技术。,文字和图像存储技术。,将文字和图像数据和FPGA关联的技术。,模糊识别，排除环境干扰等等的技术。,节省流量技术。,3、保证产品的稳定性与识别率（10%）,任务分解，成员分工,工程开发避免不了人力分配，考虑到考试等外界因素，在我们这次系统开发中两个人负责一个功能模块，不但防止人员变动造成产品延期，也能促进成员对系统整体了解。,当前进度,按照课本以及相关FPGA书籍上测试程序在开发板上实验（包括点亮LED、LCD库内字符显示、开关控制LED和LCD），加深对FPGA了解，熟悉开发环境。,目前任务是汉字字符在LCD上的显示，EDK使用与IP核内寄存器使用。,小组理念,项目可视化：明确各阶段目标交付产品。,满意度：与同是做FPGA车牌识别系统小组进行探讨并且接受他们对产品意见。,交流沟通 ：两周一次例会交流对目前工作问题与难点交流。,关注变化：FPGA以及自学视频收获写在周报上进行交流。,谢谢！,